Здание Рыбных рядов строилось в начале XIX века и входило в число 18 торговых корпусов, которые до сих пор существуют в центральной части города и сохраняют свои старинные названия: Пряничные,  Квасные,  Красные,  Овощные.  Каменное здание корпуса № 3 было построено по прошению торговцев мясными и рыбными товарами.  В название рядов вкладывалось и их торговое предназначение.

В состав Костромского музея-заповедника Рыбные ряды вошли в августе 2010 года по инициативе губернатора. Сейчас в здании Рыбных рядов располагается картинная галерея.

Почти каждый месяц здание принимает новые временные экспозиции.