Siedzibą Muzeum jest gotycki zamek – dawna rezydencja biskupów warmińskich z wystawami historycznymi, sztuki gotyckiej, nowożytnej i współczesnej. Zamek położony jest w rozwidleniu rzeki Łyny i jej dopływu Symsarny. Przez długie lata pełnił funkcję rezydencji biskupów warmińskich i strażnicy osłaniającej wschodnią granicę Warmii. Zespół składający się z zamku właściwego, założonego na planie kwadratu o wymiarach 48,5 m x 46,5 m. Zamek posiada piwnice, które służyły jako magazyny żywności, więzienie oraz w ich w części znajdowały się piece do ogrzewania zamku ciepłym powietrzem. Obecnie część piwnic pod skrzydłem wschodnim zamku przeznaczona jest na sale ekspozycyjne (elementy architektury ogrodowej i armaty z herbami biskupów). Zachowany do dziś zamek w 1958 roku zaliczony został do pomników kultury narodowej, czyli do grupy I zabytków. Natomiast w 1963 roku ze względu na dużą wartość artystyczną i historyczną w skali światowej, uznany został za pomnik historii zaliczony do grupy ,,0” zabytków.
