Galeria mieści się w południowym skrzydle zamku biskupów warmińskich. Dwie duże (400 m2 każda) sale wystawowe są miejscem ekspozycji. Gotycki zamek w Reszlu jest czteroskrzydłową budowlą wzniesioną z cegły na planie kwadratu. Zbudowany został w miejscu dawnej strażnicy drewnianej, w południowo-wschodniej części miasta, w zakolu rzeki Izery. Budowę rozpoczął biskup Jan z Miśni w 1350 roku, a ukończył biskup Henryk Sorbom około 1401 roku.. W 1505 roku zamek otoczony został murami obronnymi. Po przyłączeniu Warmii do Polski (1466 rok) zamek stracił swoje pierwotne znaczenie obronne i w drugiej połowie XVI wieku przekształcony został w letnią rezydencję biskupów. Do 1772 roku mieściło się tu także centrum administracyjne okręgu reszelskiego. W latach 1823 – 1945 rozległe wnętrze dzisiejszej galerii pełniło funkcję kościoła ewangelickiego. W latach 1976 – 1985 przeprowadzono generalny remont, podczas którego oddano monumentalną powierzchnię pod nową działalność – Galerię Sztuki Współczesnej i udostępniono ją zwiedzającym.
Galeria „Zamek” w Reszlu poprzez swoją wieloletnią działalność kulturalną stała się swoistym ośrodkiem sztuki współczesnej w regionie, gdzie swoje prace prezentowali liczni artyści polscy i zagraniczni. Wspominany już Franciszek Starowieyski, Natalia LL, Edward Dwurnik, Paweł Althamer, profesorowie z kręgu warszawskiej ASP. Pokazywane tutaj są również zbiory Muzeum Warmii i Mazur w Olsztynie. W Galerii mają niejednokrotnie miejsce wydarzenia teatralne, performance i spotkania artystyczne, między innymi międzynarodowe „Dni Sztuki” propagujące polsko – niemiecką współpracę artystyczną.
