Особняк Колобовых находится на южном берегу Карповки, рядом с Молодежным мостом. Лесопромышленная фирма Колобовых была основана выходцем из Костромской губернии Яковом Ивановичем Колобовым. Фирме принадлежал лесоторговый двор на Выборгской стороне. Сыновья Якова Колобова – Николай и Федор – продолжили бизнес отца, перенеся его на Петербургскую сторону. Им принадлежал обширный участок между Карповкой и Левашовским проспектом: здесь располагались лесопилка, склад и оптовая контора. Братьям принадлежала и немалая недвижимость – одиннадцать домов на Петербургской стороне и четыре на Выборгской. Среди них знаменитый жилой комплекс на углу улицы Ленина (тогда – Матвеевской), Пушкарского переулка и Малой Пушкарской улицы – четыре пятиэтажных доходных корпуса, соединенные «надворными флигелями» и крытыми галереями с лоджиями. Его возвели в 1908–1910 годах архитекторы С. Г. Гингер и М. И. фон Вилькен.

Федор Колобов был старостой церкви Спаса Преображения на Колтовских. Николай Яковлевич Колобов известен как страстный библиофил. А так как семья Колобовых была патриархальна и книг в ней не терпели, то ему приходилось приносить книги домой тайком, черным ходом. Когда семья построила новый дом на Большой Зелениной улице, где на первом этаже была контора, а на третьем этаже квартира Николая Яковлевича, Колобов устроил книгохранилище на чердаке и по ночам тайком разбирал книги. Библиотека его росла не по дням, а по часам. Несмотря на свою отчаянную скупость, Колобов хотел иметь редкие и интересные книги. В манере приобретения Колобов подражал Н. П. Лихачеву, то есть стал покупать все книги, изданные с начала книгопечатания до 1850 года, кроме медицинских, технических, по экономике и статистике.

Когда умерла его мать, Николай Яковлевич стал покупать книги на крупные суммы, но торговался при этом невыносимо. Знаменитый книгопродавец с Литейного Василий Клочков пошел с ним на хитрость: назначал для него специальные цены (завышенные). После смерти матери и брата Колобов увлекся массовыми покупками, разумеется, среди хлама попадались и ценные книги, но все же больше всего было именно хлама. Наконец он завел библиотекаря, но тоже совершенно неопытного человека, по профессии почтальона, который стал ходить по магазинам и покупать книги, ничего в них не понимая. Колобов построил специальное здание для библиотеки, очень хороший особнячок в два этажа, оборудовал отличными полками и мечтал привести книги в порядок. Но так этого и не осуществил. В 1917–1919 годах книжное собрание Н. Я. Колобова попало в БАН.