В июле 1919 г. в Ярцеве была организована секция по делам музеев и охране памятников, на которую была возложена  и охрана предметов из национализированного дома  Хлудовых, владельцев Ярцевской ткацкой фабрики.  На основе этой секции в 1921 г. был создан Ярцевский художественный музей, имевший два отдела художественный и производственный, который отражал историю и достижения градообразующего предприятия Ярцевской ткацкой фабрики.

       В 1925 г. музей был закрыт, часть фондов вывезена в Смоленск и Москву, оставшаяся часть представляла собой музейное хранилище и находилась при ткацкой фабрике.

       В 1956 г. музей при Ярцевском хлопчатобумажном комбинате был восстановлен, а в 1975 г. в городе Ярцево был открыт еще один музей – историко-краеведческий. В начале 90-х годов прошлого века, музей хлопчатобумажного комбината был закрыт, экспонаты переданы в историко-краеведческий музей.

      До недавнего времени историко-краеведческий музей занимал часть фойе и малый зал кинотеатра «Россия», имел два экспозиционных зала, выставочный зал, фондохранилище. С 2015 г. по 2017г музей был  расположен в новом здании, занимал полностью третий этаж и имел пять экспозиционных залов, выставочный зал, фондохранилище. В 2018 г. музей переехал на первый этаж жилого дома, по улице М. Горького 11/1 ; имеет пять экспозиционных залов и галерею. 

Музей осуществляет работу по трем направлениям: краеведение, патриотическое воспитание, выставочная деятельность.