В советское время прекрасный особняк изуродовали, надстроив его еще двумя этажами

Построен в 1780-е гг.. По мнению известного историка города Петра Столпянского, первоначальный трехэтажный дом был построен на этом участке Джакомо Кваренги для богатейшего петербургского купца Гавриила Зимина. Сначала Зимин жил в этом доме, а с 1790-х годов начал сдавать его внаем. В 1813 году наследники Зимина продали его Дмитрию Гурьеву – директору департамента уделов и одновременно министру финансов. По словам злоехидного Филиппа Вигеля: «В свете имел он все замашки величайшего аристократа, хотя отец его, едва ли из податного сословия, был управителем у одного богатого, но незнатного и провинциального помещика. Зато сам он женился на графине Салтыковой, престарелой девке, от руки коей, несмотря на ее большое состояние, долго все бегали. Прасковья Николаевна, тогда уже дама довольно пожилая, была расточительна на ласки с теми, коих почитала себе равными или с коими хотела сравняться, и раздавительно горда со всеми, кои казались ей ниже ее. Сия чета в начале XIX века открывала у нас торжественное шествие его финансовой знатности; в сем доме имел вес титул, но только в соединении с кредитом при дворе; одно богатство, но только самое огромное». Министром Гурьев был не слишком эффективным, карьерой и графскому титулу обязан собственной пронырливости и покровительству Аракчеева.

Гораздо известнее его кулинарные таланты – изобретателя гурьевских каши, паштета и котлет. Впрочем, обитал на Фонтанке Гурьев недолго (1823–1825), уже в отставке, перед смертью (в бытность министром финансов он жил в казенной квартире на Дворцовой площади). В этом же доме (со стороны Караванной) жила дочь Гурьева Мария Дмитриевна с мужем, дипломатом Карлом Нессельроде, который в 1814 году стал министром иностранных дел (своей блистательной карьерой Нессельроде, по мнению современников, был обязан тестю). Старый Гурьев умер в сентябре 1825 года, а в декабре того же года в его особняке арестовали незадачливого «диктатора» Сергея Трубецкого. В это время особняк графа Гурьева (ту его часть, что выходила на Фонтанку) снимал австрийский посол Лебцельтерн, женатый на графине Лаваль. Тот вспоминал об обстоятельствах своего ареста так: «…сестра жены моей, графиня Лебцельтерн, предложила ночлег в своем доме – жене моей и мне. Это после причтено мне было, как намерение укрыться в доме иностранного посланника. Ночью с 14 на 15 число, граф Лебцельтерн приходит меня будить и говорит, что император меня требует. Я, одевшись, вошел к нему в кабинет и нашел у него графа Нессельроде в полном мундире, шурина его графа Александра Гурьева, который пришел из любопытства и с которым мы разменялись пожатием руки, и флигель-адъютанта князя Андрея Михайловича Голицына, который объявил мне, что меня требует император. Я сел с ним в сани». По смерти министра особняк на Фонтанке отошел к вдове – Прасковии Гурьевой, а от нее к сыну графу Александру Гурьеву. Тот, впрочем, до 1839 года служил в южных губерниях и в Петербурге сдавал особняк внаем и жил на Фонтанке только в 1840–1860-е годы. Среди постояльцев особняка в пушкинское время новобрачная пара Лев Витгенштейн (сын фельдмаршала) и Стефани Радзивилл (любимая воспитанница императрицы Марии Федоровны) – люди богатейшие. Жили молодожены открыто, держали лучшего в городе повара, квартиру их меблировал сам Гамбс. На обеды к ним сходился весь дипломатический корпус. После смерти Александра Гурьева (он умер на Фонтанке в 1865 году) особняк достался его внучке княжне Екатерине Любомирской, но та в России не жила и продолжала сдавать дом. В начале XX века собственницей стала другая внучка Александра Гурьева – Мария Анатольевна Шаховская. Мария Анатольевна Шаховская, дочь шталмейстера двора князя Анатолия Куракина и Марии Гурьевой (известной своим пристрастием к спиртному) вышла замуж за гвардейского офицера, князя Владимира Алексеевича Шаховского, сына заслуженного генерала. При Шаховских интерьеры особняка реконструировал знаменитый Иван Фомин, он же пристроил галерею в классическом стиле со стороны двора.