Семеновский Историко-художественный музей был основан в 1934 году стараниями мастера, педагога-энтузиаста, художника Георгия Петровича Матвеева на базе школы художественной обработки дерева. Свои первые экспозиционные залы музей развернул в старинном двухэтажном здании, находящемся по ул. 3-5 июля (ныне ул. Матвеева), принадлежавшем ранее судье Жедринскому. В 1991 году под музей передали более просторный двухэтажный особняк по ул. Ванеева (бывшая ул. Сластенинская), построенный в к. XIX века и ранее принадлежавший купцу-старообрядцу Петру Петровичу Шарыгину.