Основой для строительства дома золотопромышленника И.Д. Асташева, как это и предписывалось правилами того времени, послужили рисунки образцовых фасадов, составленные в столице в 1809–1812 гг. и разосланные по стране. В Томске их нужно было доработать, привязать постройку к условиям местности, спроектировать дворовые фасады, продумать внутреннюю планировку, следить за правильностью ведения строительных работ. Это было поручено томскому архитектору А.П. Дееву.
В 1840–1860-е гг. были возведены каменные постройки углового дома (пр. Ленина, 75). В 1859 г. был построен уличный флигель – управление приисками золотопромышленника (пр. Ленина, 77). Тогда же был возведён второй флигель в глубине двора – двухэтажное здание, где сейчас располагается самый большой выставочный зал музея. Из хозяйственных построек на ул. Почтамтскую выходили каменные кладовые, построенные в 1865 г., в которых сегодня размещается кафе «Панда» (пр. Ленина, 79). Другие хозяйственные постройки – бани и конюшни – выходили на ул. Дворянскую, ныне ул. Гагарина.
Дом в стиле ампир. Постройка 1838–1842 гг.
Юго-восточная часть усадьбы отводилась под сад. На изображении видна арочная кирпичная ограда сада с южной стороны. Просматриваются её первоначальные, и вертикальные стойки в арках. В саду – оранжерея.