Wzniesiony przez Zakon Krzyżacki w latach 1305-1339 na planie zbliżonym do kwadratu, z budynkami wokół dziedzińca i wysoką wieżą (54 m).

W najstarszej części miasta zachował się do dziś średniowieczny układ zabudowy, ograniczony z jednej strony brzegiem Drwęcy, z drugiej ulica Przykop biegnąca wzdłuż dawnej fosy okalającej niegdyś miejskie mury.

Do dziś zachowały się tylko pozostałości gotyckiego ratusza z końca XIV wieku. W latach 1598-1648 wykorzystywanego na zbór ewangelicki, spalonego w roku 1631.

Na pamiątkowym głazie, w którego wnęce mieści się urna z prochami ofiar pomordowanych z terenu byłego powiatu brodnickiego, umieszczono herb Brodnicy i napis: „ Na wieczną sławę walczącym, cierpiącym, poległym i pomordowanym przez hitlerowskiego najeźdźcę za wolność Ojczyzny w latach 1939 - 1945”.

„Rezydencja starostów polskich, usytuowany na przedzamczu budynek murowany z cegły, otynkowany, piętrowy,, wzniesiony przed 1564 r. na bazie dawnego budynku gotyckiego staraniem Rafała Działyńskiego, starosty brodnickiego.

Park miejski początkami sięga czasów Anny Wazówny, która mieszkając w Brodnicy w latach 1605 – 1625, założyła przy swojej rezydencji duży ogród. W okresie międzywojennym dawny pałacowy ogród zmieniony został na park miejski.