Музейная усадьба – единственная сохранившаяся в Томске с середины XIX в. каменная усадьба. На ее территории расположен памятник архитектуры федерального значения (ампирный особняк). Значительная часть усадебного комплекса, сложившаяся при его первом владельце в 1840–1860-х гг., в несколько измененном виде сохранилась до наших дней и является единственным подобным историческим и архитектурным памятником в Томске. Усадебные постройки интересны не только своими архитектурными достоинствами. Их можно рассматривать как редкое сохранившееся до наших дней свидетельство бытового, жизненного уклада ушедших эпох. Кроме того, история усадьбы оказалась тесно связанной с историей нашего города.
Основой для строительства дома золотопромышленника И.Д. Асташева, как это и предписывалось правилами того времени, послужили рисунки образцовых фасадов, составленные в столице в 1809–1812 гг. и разосланные по стране.
После смерти И.Д. Асташева (1869 г.) наследник Вениамин, живший в столице, в 1872 г. предложил отцовский дом с усадьбой к продаже. Преосвященный Пётр вселился в бывший асташевский дом, ставший до конца 1919 г. резиденцией томских архиереев.
В годы Гражданской войны после отъезда последнего томского архиерея с колчаковскими войсками, усадьба была национализирована.
Томская общественность мечтала о создании общедоступного музея еще в ХIХ веке, но все усилия по его созданию, предпринятые на рубеже ХIХ–ХХ вв., оказались неудачными. Между тем в Томске было много образованных людей, которые хотели создать «храм муз», и много частных коллекций, которые могли бы стать основанием для фондов музея.