Дом № 54 по Невскому проспекту свой нынешний вид приобрел в 1883 году. Находившееся на этом месте здание перестроил известнейший и необычайно плодовитый петербургский архитектор Павел Сюзор, которому принадлежат такие хорошо известные сооружения на Невском проспекте, как нынешние Дом книги и гостиница «Рэдиссон». Абрам Ушаков, ярославец по происхождению, сколотил капитал промышленным огородничеством. Происходили Ушаковы из крестьян Ростовского уезда. Эта местность вокруг озера Неро знаменита плодородием своих почв. Здешние крестьяне (в основном крепостные Шереметевых) уже в XVIII веке выращивали на продажу семенной лук, зеленый горошек и цикорий. Позже они начали арендовать участки земли в Петербурге, Москве, Варшаве и других крупных городах с тем, чтобы выращивать овощи поближе к потребителю. В 1870-е годы ярославцам принадлежала половина петербургских зеленных лавок. В Петербурге жило примерно 700 – 800 ярославских огородников, арендовавших землю за Нарвской заставой, на Выборгской и Петроградской сторонах. Основатель рода Ушаковых, Михаил Петрович, торговал цветами, декоративными растениями, семенами и овощами из собственных теплиц в районе современного проспекта Стачек.

Его сын, Абрам Михайлович (1825–1917), продолжал заниматься огородничеством, но значительно диверсифицировал бизнес папаши. Он владел 24 доходными домами, имел земельные угодья по всей России, дачные комплексы в Усть-Нарве, Териоках, Тайцах и Гудауте, лесопильный и кирпичный заводы. Ушаков был знаменитым благотворителем (построил несколько школ, больницу, выделял много денег на церковь). Он был награжден всеми возможными орденами, стал действительным статским советником, гласным Петербургской думы. Ушаковский дом — доходное предприятие, сменившее множество арендаторов. В разное время здесь существовали магазины: табачный, ламповый, шляпный, готового платья, богемского хрусталя, золотых и брилиантовых вещей, оптики, колбасный. Помещались сапожная, золотошвейная, портняжная мастерские. Три компании на Невском, 54, имели общенациональную значимость: кондитерская Ф. Бале, главного наряду с фирмой Буше поставщика пирожных к столу высокопоставленных горожан. Место хорошего тона, пристанище праздных дам. Нотная фирма «Василий Бессель и К»: вся русская музыкальная классика была впервые издана этим почтенным заведением. Наконец, с 1908 года в этом доме находилось знаменитое фотоателье Карла Буллы. Карл Булла и его сыновья, Виктор и Александр, десятилетиями были главными фотолетописцами Петербурга, потом Петрограда и Ленинграда. После революции Карл уехал в Эстонию, его сыновья погибли в лагерях. Огромный фотоархив семьи Булла составляет основу коллекции Петербургского архива кинофонофотодокументов в Мучном переулке. Все художественные альбомы, посвященные старому Петербургу, зиждутся на фотографиях Карла и Виктора Буллы. Фотоателье находится здесь и сейчас, на вывеске написано «Фотосалон. Бывший К.К. Булла». Владелец, Валентин Эльбек, планирует восстановить на четвертом этаже и в мансарде дома № 54 первоначальный облик фотосалона и открыть выставку работ фотографа. Рядом с домом со стороны Малой Садовой в январе 2001 года установили небольшой бронзовый памятник анонимному фотографу работы скульптора Бориса Петрова. Из многочисленных памятников, открывшихся в предъюбилейные годы, этот — один из наименее отвратительных. Рядом с ним любят фотографироваться приезжие.