Muzeum zostało oficjalnie otwarte 20 listopada 1950 roku. Mieści się w gotyckim zamku kapituły pomezańskiej wzniesionym w latach 1300 - 1330. Z zamku zachowało się skrzydło północne i zachodnie oraz 3 wieże narożne. Osobliwością są dwa wysunięte krużganki każde zakończone wspierającą wieżą - wielkim gdaniskiem i wieżą studzienną. Zbiory Muzeum reprezentują kulturę materialna prawobrzeżnego Dolnego Powiśla, obejmują ziemię kwidzyńska, sztumską i suską. Muzeum posiada zbiory historyczne, przyrodnicze, etnograficzne, rzemiosła artystycznego oraz militaria, a wśród nich m.in. średniowieczne narzędzia tortur o ciekawych nazwach np.: skrzypce hiszpańskie, płaszcz hiszpański, kuna oraz pień i topór katowski, intarsjowane meble mieszczańskie z przełomu XVIII i XIX w., druki polskie wydawane w Kwidzynie, materiały związane z plebiscytem na Powiślu; czasopisma polskie, kroniki, fotografie, plakaty i odezwy.
Pierwotnie niewielki dziedziniec Zamku Kapituły Pomezańskiej otoczony był krużgankami od północy, zachodu i południa. Krużganek południowy został rozebrany wraz ze skrzydłami wschodnim i południowym w 1798 roku. Krużganek północny zbudowany około połowy XIV wieku, posiada w niektórych partiach zachowane oryginalne gotyckie mury. Pięcioprzęsłowy, sklepiony krzyżowo. Zworniki i konsole o dekoracji roślinnej, z częściowo zachowaną polichromią.
Pomysł utworzenia Muzeum w Kwidzynie zrodził się w 1945 roku, wkrótce po przekazaniu miasta w ręce polskiej administracji. Jego podstawę stanowić miały eksponaty ocalałe po niemieckim Heimatmuseum Westpreussen, założonym przez nauczyciela Waldemara Heyma w 1926 roku. Zbiory te początkowo miały zostać włączone do kolekcji Muzeum Narodowego w Warszawie, jednak dzięki interwencji ówczesnego starosty Wiesława Sztejnike, pozostały w Kwidzynie.
