Budynek, będący siedzibą Muzeum został wzniesiony w drugiej połowie XIV w. przez burmistrza toruńskiego Henryka Hitfelda. Początkowo był to reprezentacyjny budynek mieszkalny, od 1518 r. należący do rodziny Eskenów, około 1590 r. Franciszek II Esken przekształcił kamienicę gotycką, w renesansową rezydencję, z okazałym kamiennym portalem, przypisywanym sprowadzonemu z Gdańska flamandzkiemu rzeźbiarzowi – Wilhelmowi van den Blocke. Od 1844 r. stała się własnością firmy kupieckiej L.Damman i Kordes, która ujednoliciła budynek w stylu klasycznym i przeznaczyła go na spichrz.. Od 1990 r. Dom Eskenów należy do Muzeum Okręgowego w Toruniu. Prezentowane są w nim trzy stałe wystawy: „Odkrywanie przeszłości” – wystawa archeologiczna, "Militaria od średniowiecza do początków XX wieku", "Toruń 1793-1920. Miasto pogranicza".
Protoplastą toruńskiej linii rodu Eskenów, szczycącej się szlacheckim rodowodem, był syn fryzyjskiego rajcy z Brillon - Erasm I Esken (1425-1493), który wraz z końcem 1458 roku przybył do bogatego Torunia. Jedna jej gałąź w XVII wieku (ok. 1630 r.) osiedliła się także na Litwie , gdzie stolnik smoleński Piotr Antoni (1729-1787) poślubił ukochaną siostrę Tadeusza Kościuszki - Annę (1741-1814).
