Muzeum mieści się w pałacu mieszczańskim. Za budynkiem głównym znajdują się pomieszczenia gospodarcze - wozownia, w której zlokalizowany jest Dział Archeologii. Większość zabytków archeologicznych, należących do 176 zespołów inwentarzowych, pochodzi z terenu Kujaw Inowrocławskich i Pałuk. Z pośród licznych znalezisk nowożytnych na szczególną uwagę zasługują zabytki z cmentarzysk w Jaksicach i Słaboszowie, gdzie obok elementów stroju i licznych monet odnaleziono złoty pierścień relikwiarzowy. Niezwykle cenny zespół militariów późnośredniowiecznych odkrytych w Izdebnie i Nowym Jasińcu tworzy zrąb kolekcji broni. Do najcenniejszych materiałów biograficznych w zbiorach Muzeum należą rękopisy utworów i przekładów Jana Kasprowicza, listy pisane przez poetę, listy do Jana Kasprowicza, rękopiśmienne utwory o Poecie oraz archiwalia. W Muzeum znajduje się największa w Polsce i jedna z najbardziej liczących się w Europie kolekcja pamiątek po Stanisławie Przybyszewskim.
Obecny budynek główny Muzeum im. Jana Kasprowicza zbudowano w 1896 roku jako rezydencję mieszczańską dla żydowskiego radcy handlowego i przedsiębiorcy budowlanego Bernharda Schwersenza. Jest to okazała budowla, podpiwniczona, z poddaszem, wzniesiona na rzucie odwróconej litery L.. Skrzydło od strony ulicy Solankowej mieściło hol oświetlony dużym oknem wypełnionym secesyjnym witrażem; wytworną klatkę schodową i reprezentacyjne pokoje. W bocznym skrzydle znajdował się pion gospodarczy z odrębną komunikacją tzw. "kuchennymi schodami". W 1924 r. pałac stał się własnością hrabiego Emiliana Nałęcz-Skomorowskiego.
