Музей расположен в памятнике архитектуры XVIII века. Здание было построено в 1786 году по типовому проекту жилого дома. Непросто складывалась судьба этого здания: оно неоднократно горело, несколько раз его перестраивали, подправляли, реконструировали. Оно никогда не использовалось по назначению. Первоначально здесь размещалась Банковая контора, далее - Променная контора, Коммерческий банк, затем городская таможня.

Пять залов особняка – портретная и мужской кабинет, голубая гостиная, будуар и столовая перемещают нас в давно ушедшее время. Мебель, картины, зеркала, фарфор, наполняют дом духом прежних эпох и возвращают нас к некогда неторопливой осознанной городской жизни.