История музейного дела в Велиже начинается в 1918 году, когда в местной газете появилось объявление с предложением приносить экспонаты в создающийся музей. До начала Великой Отечественной войны 1941-1945г.г. музей находился в здании ратуши.

Современный музей основан в январе 1986 года на базе школьных музеев. Находится в здании начала XX века (стиль «модерн»), построенном на деньги известного велижского мецената, художника, писателя, купца О.М. Киселева. 
Экспонаты музея рассказывают о Велиже и велижанах, о людях и событиях, имеющих непосредственное отношение к истории города и района.