Polenský hrad je historicky první dominantou našeho města.
Tyčí se od počátku druhé čtvrtiny 13. století nad městem, v minulosti se stal na celá staletí správním střediskem velkého polenského panství. Původně z větší z části dřevěný hrádek byl v průběhu 13. a 14. století přebudován na pevný gotický hrad. Časté válečné a živelné pohromy měnily jeho výstavnost i vzhled. Na Houfnáglově rytině z roku 1612 vidíme hrad přestavěný na zámek. Stále je tvořen čtyřkřídlým palácem s mohutnou útočištnou věží na nádvoří. Přestavba po požáru v roce 1584 byla provedena dle dispozic renesančním duchem prodchnutého a vzdělaného Zachariáše z Hradce. V letech 1645 a 1647 byl zámek vypálen Švédy. Při Ditrichštejnské přestavbě koncem 17. století dostává barokní podobu. Tato přestavba radikálně změnila celkovou dispozici zámku. Z původní zástavby se prakticky zachovalo pouze západní renesanční křídlo se svými četnými gotickými částmi. V roce 1744 zámek opět vyhořel a v roce 1794 nastává konec slávy pyšného feudálního centra. Po obrovském požáru už nikdy nebyl opraven do původní velikosti. Počátkem 19. století vrchnostenský úřad odchází do Přibyslavi. Stavba začíná rychle chátrat, je využívána jen jako nouzové bydliště a skladiště. Po velkém požáru města v roce 1863 slouží hradní zdi jako zdroj stavebního materiálu na opravu shořených domů. Když jej v roce 1922 koupil od poslední majitelky Václav Pojmon a věnoval polenskému Sokolu a Spolku polenského muzea, byl objekt v žalostném stavu. Silně porušené 2. patro západního hradního křídla mohlo být adaptováno už jen na půdu. Podařilo se však obnovit 1. patro se třemi prostornými sály: Pirkštejnskou a Hradeckou síň s trámovými stropy a Kunštátskou síň s pěknou původní křížovou klenbou a zbytky původní výmalby.
Dějiny města a hradu jsou v této době vlastně historií majitelů Polné. Věříme, že všichni majitelé – Jan z Polné, Jindřich z Lipé, Viktorin z Kunštátu, Hynek Boček z Kunštátu, Eliška z Postupic, Adam z Hradce, Rudolf Žejdlic ze Šenfeldu a Ferdinand Ditrichštejn i ti méně známí se společně s námi radují nad opraveným hradem, o který se i oni v době svého panování museli starat. K nim se přidává zástup dalších, počínaje Václavem Pojmanem, jehož zásluhou se stal hrad majetkem města, Břetislavem Rérychem a Bedřichem Neubauerem, kteří neúnavně budovali polenské muzeum a mnoho dalších nejmenovaných členů polenského Sokola či Spolku polenského muzea.
Před více jak 16 lety započala postupná rekonstrukce celé muzejní části areálu polenského zámku. Opravy této části započaly v roce 1995 a vyžádali si částku více jak 23 milionů Kč, z toho 9,5 milionu činil příspěvek na obnovu památek od státu prostřednictvím Ministerstva kultury ČR. Do opravy a rekonstrukce celého areálu bylo investováno 42 milionů korun, z toho je státní příspěvek 12,5 milionů korun.