Картинная галерея расположена в здании бывшей мечети. В 1913 году по инициативе мусульманского общества Ставрополя архитектор Г. П. Кусков приступил к возведению здания соборной мечети. Вскоре белокаменное строение, выполненное в лучших традициях восточного зодчества, стало одним из украшений города. Здание мечети является памятником истории и культуры и охраняется государством.

В 1987 году здесь была открыта картинная галерея пейзажей заслуженного художника России, почетного гражданина Ставрополя П. М. Гречишкина (1923–2009). Поводом к ее открытию послужило преподнесение художником в дар городу коллекции своих картин. Первоначально коллекция насчитывала 167 полотен, но, благодаря активной деятельности художника, фонды галереи пополнились и теперь насчитывают 490 живописных и 50 графических работ.

Основной жанр в творчестве П. М. Гречишкина – пейзаж. Путешествия художника на пленэр составляют солидный маршрут: от степей Ставрополья, гор Кавказа, Урала, средней полосы России, Байкала до Индии, Египта, Непала, Франции. Мастер колорита и композиции, он является продолжателем лучших традиций русского реалистического пейзажа, основоположником которого были А. Саврасов, И. Левитан, И. Шишкин.