Рубцовская картинная галерея была основана в 1989 году. Ее открытие стало важным событием в культурной жизни города. В январе 1990 года, после ремонта, сотрудники галереи организовали выставку алтайского художника Ф. А. Филонова, на которой было представлено 78 его живописных и графических работ. После ее завершения автор подарил все картины городу. Эта коллекция и положила начало формированию фондов картинной галереи.

В 2001 году учреждению было предоставлено новое помещение. Его открытие состоялось 21 сентября 2002 года после большой реконструкции. Сейчас общая площадь Рубцовской картинной галереи составляет 690 кв. м, экспозиционная площадь – 647,1 кв. м. Под хранение фондов там выделено 42,9 кв. м. В галерее работает 5 выставочных залов, способных вмещать более 150 работ, и изостудия.

В настоящее время фонды картинной галереи составляют 1 190 единиц, из них 531 – произведения живописи, 565 – графики, 93 – предметы прикладного искусства, быта и этнографии, 1 – скультура. Экспозиция галереи обновляется каждые 1,5–2 месяца.