В годы Гражданской войны после отъезда последнего томского архиерея с колчаковскими войсками, усадьба была национализирована.
С утверждением советской власти здесь разместились общежитие, служебные помещения Наробраза, в помещении бывшей домовой церкви устраивались спектакли. Но местные деятели культуры настаивали на том, чтобы в здании открылся музей и сохранил для сибиряков те художественные ценности (картины, мебель), которые обнаружились в этом здании.
14 февраля 1920 г. был произведён осмотр архиерейского дома. По результатам было подготовлено постановление о предоставлении помещения бывшего архиерейского дома под «Музей старины и революции». Это день можно считать основанием музея.
В феврале 1922 г. исторический и художественный памятник нашёл себе защиту в лице Наркома просвещения
А.В. Луначарского и заведующей Главмузеем Н. Троцкой.
На протяжении всей своей истории усадебный комплекс вдохновлял художников. Архитектор А.Л. Шиловский писал о томской достопримечательности:
«Кто хоть сколько-нибудь чувствующий красоту, не любовался им зимой, когда среди белоснежного покрова так ярко вспыхивают розовые пятна стен, а сочные кронштейны окон кажутся причудливыми оплывами снега…».
Однако уже в конце 1920-х гг. бывший архиерейский дом потерял значимую деталь своего облика – колокольню домовой церкви.
С 1927 г. бывшие каменные кладовые И.Д. Асташева (пр. Ленина, 79) арендовала малярийная станция. 4 марта 1940 г. Исполком горсовета и земельно-планировочная комиссия Горкомхоза передали часть усадьбы по пр. Ленина, 77 малярийной станции.
С началом Великой Отечественной войны, в августе 1941 г., было принято решение о консервации музея, штат сотрудников сокращён до трёх единиц. В здании Музея разместились сначала пединститут, затем Белоцерковское военное пехотное и эвакуированное из Тулы оружейно-техническое училища.
В годы войны Музей продолжал свою работу. Он не только принял экспонаты из эвакуированной Севастопольской картинной галереи, но и организовал передвижные выставки «Сибиряки на фронте и в тылу» и «С.М. Киров».
С окончанием войны, в 1945 г., музей был переименован в Томский областной краеведческий музей.
С ноября 1948 по 1980 г. здесь располагался планетарий, оборудование которого было изготовлено в 1930 г. знаменитой фирмой «Карл Цейс-Йена». Томск стал вторым городом в России, после Москвы, который имел свой планетарий. В 1980 г. он был перемещён в отреставрированное здание бывшего католического костёла на улице Бакунина.
В августе 1949 г. здание музея было закрыто на капитальный ремонт, была проведена замена печного отопления на центральное. Тогда же был замурован некогда парадный вход в дом Асташевых, выходивший на пр. Ленина.
9 мая 1952 г. состоялось торжественное открытие Областного краеведческого музея. После реконструкции были открыты два отдела музея – природы и художественный.
Вопрос о комплексной реставрации и реконструкции здания асташевского особняка был поставлен ещё в 1980 г. К 1982 г. была подготовлена проектная документация, разработанная институтом «Спецпроектреставрация».
В 1982 г. из состава музея выделился Томский областной художественный музей.
В 1986 г. Областной музей был закрыт для посетителей, а в сентябре 1988 г. начался ремонт здания. Реставрационно-восстановительные работы проводились «Томскпроектреставрацией, малым предприятием «Реконструкция» и СУ-8 «Сибгражданстроя».
Восстановлена колокольня в 1990-е гг.
После длительного периода реконструкции здания 2 октября 1997 г. состоялось открытие первых пяти залов музея.