Первыми обитателями дома были Иван Дмитриевич Асташев, его супруга — Александра Павловна, их дети — Елизавета и Вениамин (еще мальчиком он был отдан для обучения в военное заведение в Петербурге).
Хозяин дома (дворянин, уроженец Нарыма) разбогател в
1830-х гг., когда, оставив чиновничью службу, он, как и многие другие, ринулся в погоню за золотом: в Сибири были открыты месторождения драгоценного металла. Энергия, природный ум, связи в столице и удача помогли ему составить состояние (увы, не всегда честными способами). Трезвый расчет и приобретенные путем самообразования специальные знания в «горном деле» позволили это состояние приумножить. В 1850—1860-х гг. Асташев — один из самых богатых и влиятельных жителей Томска. Добросердечная супруга Ивана Дмитриевича была его помощницей в благотворительных делах.
«Последние десять лет Асташев жил безвыездно в г. Томске и жил настоящим магнатом, широко, открыто. Бесцельной траты денег он не допускал, но был щедр, где представлялся подходящий случай блеснуть своей пышностью, поразить воображение граждан и заезжих чиновников роскошью обстановки, приемов, угощения».
В музее хранится часть мебели Асташева, выполненной в стиле ампир. Она дает представление о внутреннем убранстве дома: высокие зеркала, мягкие диваны, кресла, стулья из трех мебельных гарнитуров, украшенные резьбой и вышивкой, малахитовые вазы, каминный экран и др. В коллекциях Эрмитажа из императорского Зимнего дворца можно найти предметы меблировки, с которыми схожи асташевские.