Панины – семейство серьезное, с репутацией. Панин на третьей свадьбе Ивана Грозного нес фонарь перед царем. При московских государях Панины служили дьяками, воеводами, заседали в Боярской думе. Не потерялись они и в петербургский период российской истории. Никита Иванович Панин – российский посол при шведском дворе, воспитатель Павла I, один из первых в империи либералов. Его брат – Петр Иванович, генерал-аншеф, победитель пруссаков под Кунерсдорфом, турок под Бендерами; именно он одолел Емельяна Пугачева. Хотя Екатерина и не любила его («первый враг», «себе персональный оскорбитель», «дерзкий болтун»), но все же из чувства справедливости даровала Петру Ивановичу графское достоинство. Сын полководца, граф Никита Петрович, при Павле исполнял фактически обязанности министра иностранных дел. Особняк на Фонтанке (ныне дом 7) принадлежал его сыну Виктору Никитичу. Виктор Панин купил дом на Фонтанке у Белосельских-Белозерских в конце 1840-х, когда те переехали в свое новое палаццо на Невском. Граф Виктор Никитич к этому времени уже был министром юстиции. Высокий, прямой как шест (Николай I прозвал его «трехпаленным», а Герцен «жирафом в андреевской ленте»), Панин представлял идеальный тип бюрократа. Как вспоминал князь Мещерский: «по недоступности своей он был чем-то вроде полубога, по легендарной о нем молве он был каким-то мифологическим существом, почитание которого исключало всякую возможность даже думать, что он имеет что-нибудь общее с житейской стороной служебного мира; все служившие в ведомстве его пребывали в сознании, что человека в чиновнике министерства юстиции не существует для графа Панина. Это резкое отделение службы от жизни так было строго соблюдено графом Паниным, что он для разговоров со своими устроил у себя в двери кабинета окно, через которое разговаривал с семьей, чтобы никого из непричастных к служебному кругу не допустить в свой кабинет как храм служителей священнодействия. Не лишена была оригинальности и ежедневная прогулка графа Панина.

Каждый Божий день по Невскому проспекту, в пятом часу дня, можно было встретить высокого старика, прямого как шест, в пальто, в цилиндре на небольшой, длинноватой голове, с очками на носу и с палкой всегда под мышкой. Прогулка эта была тем интересней, что все видели графа Панина, но он никого никогда не видел, глядя прямо перед собой в пространство. И когда кто ему кланялся, граф машинально приподнимал шляпу, но, не поворачивая и не двигая головой, продолжая смотреть вдаль перед собою». Министерство юстиции во времена Николая I было вопиюще неэффективным ведомством. Тогдашняя Россия, по словам Константина Аксакова, была «черна в судах неправдой черной». Волокита и взятки, чиновничий произвол стали притчей во языцех. Сам Панин считался человеком честным, в посторонних доходах не нуждался, так как наследовал от отца 12 тысяч крепостных душ, 7 имений, недвижимость в Москве, Петербурге, Риге, Нижнем Новгороде, Казани, Ярославле, Костроме и Павловске. Но это не мешало Виктору Никитичу быть убежденным консерватором, врагом всяческих изменений. В начале великих реформ царствования Александра II граф Панин возглавлял реакционную партию и после победы либералов был отправлен в отставку. У Панина было трое дочерей и единственный сын Владимир. По словам соседа Паниных через Фонтанку графа Сергея Шереметьева: «Либерал и деспот по преимуществу, характера требовательного и прямолинейного, он представлял из себя смесь остзейского чванства с либерализмом 60-х годов. Это был совершенно не русский тип. Помню, Панин читал невесте какую-то книгу. Меня заинтересовало, что именно. Каково было мое удивление, когда я узнал, что он читает своей невесте биографические сведения о графе Аракчееве». Невестой, а потом и женой Владимира Панина была Анастасия, дочь богатейшего русского промышленника, владельца брянских заводов Сергея Мальцева. Но прожили они вместе всего год, Владимир Панин умер от туберкулеза, когда ему было 30 лет. Вдова унаследовала панинский особняк. Анастасия Панина прожила жизнь бурную. Вскоре после смерти мужа открыто сошлась со своим гинекологом Петром Гагариным. Это вызвало скандал: свет не простил графине связь с разночинцем. После смерти Гагарина – новое увлечение, еще более скандальное: Иван Петрункевич – земец и радикал, связанный с народовольческим подпольем. На сей раз роман закончился браком. Недовольные вольнодумством Анастасии Паниной- Петрункевич власти даже отняли у нее единственную дочь от Владимира Панина Софью и поместили девочку насильно в Екатерининский институт (как раз напротив особняка). Позже Петрункевич стал членом ЦК кадетской партии, депутатом Думы, видной деятельницей кадетской партии стала и его падчерица Софья. Она считалась богатейшей невестой России так и не выйдя до конца жизни замуж) и была последней владелицей особняка. Во Временном правительстве Софья Панина, известная благотворительница – товарищ ( заместитель) сначала министра государственного призрения, потом – народного просвещения. В 1918 году отсюда, с Фонтанки, Софья Владимировна уехала в эмиграцию.