Na lewym brzegu Gąsawki znajdują się ruiny zamku. Budowla związana jest z osobą Sędziwoja VI Pałuki herbu Topór, który był fundatorem zamku. Sędziwój w II poł. XIV w. piastował najważniejsze funkcje w Królestwie Polskim. To on był jednym z tych, którzy stali za sprowadzeniem z Węgier do Polski Jadwigi i wydaniem jej za litewskiego księcia Władysława Jagiełłę. Jednak dla mieszkańców Szubina jest on przede wszystkim założycielem miasta, w którym mieszkają. Od 1365 r. Sędziwój VI Pałuka w źródłach występuje, jako Sędziwój z Szubina i tę datę przyjmuje się za początek miasta. Sędziwój był fundatorem kościoła pw. św. Marcina Biskupa oraz budowniczym zamku.

Budowla została usytuowana na niewielkim, wówczas trudno dostępnym wzniesieniu położonym wśród bagien rozciągających się w dolinie rzeki Gąsawki. Zamek zbudowany został na planie regularnego czworoboku o wymiarach 42x42 metra, z cofniętym południowo-wschodnim narożnikiem, więc można go uznać za typowy przykład zamku nizinnego. Do budowy murów użyto gotyckiej cegły, które ułożone zostały na fundamencie z granitowych głazów. Zamek powstał w dwóch fazach. Najpierw został wykonany zewnętrzny obwód murów, a potem ich nadbudowa i budynek. Część mieszkalna mieściła się w północno-wschodnim narożniku zamku. Jedyna droga do zamku wiodła sztucznie usypaną przez bagna groblą do bramy zlokalizowanej pośrodku północnego muru. Powierzchnia zamku wynosiła ok. 1.100 m2. Z powodu zniszczeń oraz późniejszych przebudów nie jest możliwe odtworzenie jego pierwotnej zabudowy. Nie wiemy na przykład czy zamek miał wieżę. Niemniej próbę rekonstrukcji podjął Adam Krall, który wykonał makietę zamku. Można ją oglądać w Muzeum Ziemi Szubińskiej.

Dziś możemy oglądać tylko ruiny zamku. Teren nie jest ogrodzony, a ruina jest dostępna dla wszystkich. Najlepiej zachowała się ściana południowa, od strony Gąsawki, która w najwyższym miejscu ma 7 metrów wysokości.

Obecnie na ruinach trwająna prace rewitalizacyjne.