Музей-усадьба располагается в историческом центре Ставрополя, в старинном доме с прилегающим к нему приусадебным участком. В 1889 году в этом доме поселился со своей семьей русский художник Василий Иванович Смирнов (1841–1922). Он работал в портретном и пейзажном жанрах, создав более 500 произведений – рисунков, набросков, эскизов, этюдов, картин. 47 лет В. И. Смирнов преподавал рисование в учебных заведениях Ставрополя. В доме художника собирались педагоги, музыканты, литераторы, театральные и общественные деятели. Частым гостем в доме Смирновых был ученик и друг хозяина Коста Леванович Хетагуров (1859–1906) – художник, поэт, публицист, драматург, основоположник национальной осетинской литературы.

Когда в 1970-х годах в целях популяризации просветительской деятельности К. Хетагурова было решено создать в Ставрополе народный литературный музей, для этого был выбран дом В. И. Смирнова. Музей открылся 4 ноября 1977 года выставкой произведений В. И. Смирнова. В 1978 году музей стал филиалом Ставропольского краеведческого музея им. Г. К. Праве. В 2018 году, после нескольких лет ремонтно-реставрационных работ, открылась обновленная экспозиция мемориального дома В. И. Смирнова. Она посвящена художнику, его семье, друзьям и ученикам в контексте культурной и бытовой жизни губернского Ставрополя. Максимально полно представлена коллекция художественных произведений мастера. Восстановлен мемориальный комплекс К. Л. Хетагурова, экспонируются его вещи и живописные работы.