Дворец «Олимпия» расположен в особняке княгини Варвары Долгорукой. Это здание, построенное в 40-х годах девятнадцатого века в стиле позднего классицизма по проекту архитектора А. Низовцева, несомненно, является одной из самых красивых жемчужин в роскошном ожерелье петербургских дворцов.

Двухэтажный особняк с высоким цокольным этажом, со строгими четко прорисованными линиями и балконом и по сегодняшний день является памятником архитектуры, который по красоте и выразительности образа может поспорить со многими петербургскими достопримечательностями. В конце сороковых годов XIX века князь Борис Дмитриевич Голицын (внук княгини Натальи Петровны Голицыной, прототипа старой графини из «Пиковой Дамы» А.С. Пушкина) купил особняк у семьи Долгоруких.