Přesný datum vzniku zdejšího hradu neznáme. Podle nálezů tzv. tuhové keramiky můžeme však usuzovat, že k jeho založení došlo okolo poloviny 13. stol. První konkrétní písemná zmínka je v listině Oldřicha z Hradce z roku 1358, který přijal za spolumajitele svého bratra Heřmana. Krátce vládl Žirovnici i Oldřich z Ústí, zmiňovaný k roku 1371 a pocházející ze stejného rodu Vítkovců. Po jeho smrti (před rokem 1379) převzala panství jeho žena. Páni z Hradce jsou tedy považováni za zakladatele tohoto hradu, i když dokázat toto tvrzení nelze.
Původní hrad nebyl nijak velký, zahrnoval v podstatě území dnešní věže, části budov dnes s věží sousedících a prostor k bývalé hlásce. V tomto stavu jej již v roce 1393 koupil vladycký rod Kamarétů z Lukavce (u Čáslavi). Prvním majitelem z rodu Kamarétů byl Jan, který začal užívat prediákt ze Žirovnice. Takto se označovali i jeho potomci. Kamaréti byli přívrženci Husovi, proto za husitských válek se majitel Žirovnice účastnil bojů proti Oldřichovi z Rožmberka. Ten stál na straně krále Zikmunda. Po smrti Jana v letech 1448-51 získal panství jeho syn Purkart. ten je znám věrnými službami Jiřímu z Poděbrad. Zúčastnil se volby Jiřího z Poděbrad za českého krále v roce 1452. král jej poté za jeho služby jmenoval svým komorníkem. Purkart byl roku 1467 zabit, snad nešťastnou náhodou na honu v okolí zdejšího hradu. Podle jiné verze, a to ze Starých letopisů českých, padl Purkart v boji, když se se svými lidmi střetl s vojskem katolické panské jednotky u vsi Žďárku pod Štítným. Za připomenutí stojí i to, že kromě lovecké vášně byl Purkart velmi dobrým bojovníkem v turnajích rytířstva. Vyznamenal se hlavně v roce 1447 na turnaji uspořádaném při příležitosti korunovace Kazimíra polským králem. Posledním Kamarétem na Žirovnici byl Purkartův syn Diviš. Ten však brzy zemřel. Ofka z Vojslavic, jeho manželka, poté jménem nezletilých synů prodala roku 1485 celé panství za 1500 kop grošů českých Vencelíkům z Vrchovišť. Ti tak získali Žirovnici a vesnice Cholunnou, Jakubín a Zdešov.
Rod Vencelíků sídlil v Kutné Hoře. Původně se nejednalo o zvlášť majetný rod, ale Václav Vencelík začal podnikat v oblasti dolování. Právě dolováním stříbra byla Kutná Hora ve 14. a 15. století významná. Podnikání Vencelíkovi přinášelo značný zisk, i když asi ne vždy k němu přišel poctivě. Za stříbro si Václav Vencelík zřejmě koupil i šlechtický titul. Protože měl dostatek finančních prostředků a chtěl se vyrovnat původní české šlechtě, rozhodl se, že koupí pro sebe a svou rodinu celé panství. Dalším důvodem k tomuto kroku byla skutečnost, že měl devět dětí, měšťanský dům v kutné Hoře a své potomky chtěl jistě zabezpečit.
Po svém příjezdu do Žirovnice na podzim roku 1485 začal ihned se stavebními úpravami hradu. Jižní palác vystavěl do výšky dvou pater, nechal zde vystavět kapli, ve druhém poschodí rytířský sál a r. 1490 vymalovat tuto část hradu, a kapli zvlášť, freskami, které jsou zachovány dodnes. Dal dostavět i budovy na východní a západní straně, čímž vzniklo trojúhelníkové (dnes druhé) nádvoří. Opravil a zpevnil hradby v okolí hlásky, protože v těch místech byl původní vstup do hradního areálu. Úpravy svého sídla ukončil asi v roce 1494 a tak získal hrad zhruba dnešní podobu. Dodnes Václava Vencelíka z Vrchovišť proslavují hlavně fresky, jimiž je náš zámek znám. V kapli se jedná o fresky s biblickými motivy, navíc je zde vymalována i rodina Vencelíkova. Skutečně unikátní je i malba hutě v tzv. zelené světnici, znázorňující nejen huť a hrad, ale i prosté dělníky v huti pracující. V současné době je rozsah fresek na žirovnickém zámku označován za největší v celé České republice, i když s podobnými malbami, ale v menším rozsahu, se lze setkat i jinde. Fresky byly během staletí zabíleny, ještě na přelomu 19. a 20. století se jejich část ztrácela pod malbou tropické krajiny, ale dnes naštěstí můžeme opět vše vidět tak, jak tomu bylo na konci 15. století. Autora fresek bohužel neznáme, ale dle místa, kde vytvořil své dílo je označován za Mistra žirovnického.
Jak už bylo zmíněno, u hradu existovala huť. Z Kutné Hory dal Vencelík přivážel tzv. černou měď a zde ve své žirovnické huti ji zcezoval neboli ságroval. Znamenalo to, že ze surové mědi se získávalo stříbro. Kromě hradu a huti začal budovat nové rybníky a dal vystavět rodinnou hrobku, dnes nad ní stojí kostelík sv. Jiljí. Žirovnické panství si územně rozšířil, když v roce 1493 koupil tvrz a ves Vlčetín (s výjimkou čtyř statků na moravské straně) od Jana Vlčetínského ze Zásmuk. 9. září 1492 byl Václav Vencelík povýšen na říšského pána a dostal k tomu i erb – stříbrného jednorožce v modrém poli. Nyní je tento erb znakem města Žirovnice. Z devíti dětí Vencelíkových bylo šest synů: Matěj, Jindřich, Petr, Kryštof, Jan a Zikmund. Když Václav v listopadu roku 1515 v Třešti zemřel, zdědili celé poměrně rozsáhlé panství i pěkný hrad jeho synové, z nichž se nakonec jediným majitelem stal Petr.
Jeho manželkou byla Amelie z Toletu. Jí část panství věnoval, aby po jeho smrti mohla v Žirovnici klidně dožít. Roku 1537 je Petr Vencelík připomínán jako prokurátor při Deskách zemských. Tento titul mu ještě – kromě příjmů z panství – zajišťoval určitý zisk, ale Petrovo hospodaření na Žirovnici nebylo dobré. Peníze si půjčoval dál a tím sebe i panství zadlužoval. Zemřel v roce 1543 (jinde se uvádí před rokem 1540). Jeho manželka pojistila v roce 1544 půjčku asi největšímu věřiteli Albrechtu z Gutštejna, jinak nejvyššímu mincmistrovi, svým věnem. Ani to však nepomohlo a ještě téhož roku mu celé panství Žirovnice prodala za částku 6000 kop grošů českých. Tím skončilo držení žirovnického panství v rukách Vencelíků. Pouze Jan Vencelík byl i nadále majitelem svobodného domu (dnes č. p. 2), který koupil od Petrových synů a poté věnoval své ženě Regině ze Stranné.
Albrecht z Gutštejna , stejně jako Václav Vencelík, měl finančních prostředků dostatek. Hned v roce 1545 panství rozšířil koupí tří okolních vesnic (Štítné, Litkovice a Žďársko). Rovněž učinil úpravy hradu. Na západní straně vystavěl kruhovou baštu, na straně východní baštu čtyřbokou. U hradeb postavil novou budovu pro služebnictvo a čeleď a dále novou bránu s padacím mostem. Za zaznamenání stojí i to, že v roce 1547 udělil svým podaným právo volně na svých statcích i domcích hospodařit a bez povolení se po panství stěhovat. Jako jeden z poručníků mladého Viléma z Rožmberka přijímal na svém hradě vzácné a vysoce postavené hosty.
Albrechtovým nástupcem se měl stát jeho syn Kryštof. Ten ale ač ženat s Uršulou z Veitmile, chodil za ženou řezníka Brychce. Jednoho dne byli řezníkem přistiženi a ten Kryštofa nožem zabil. To se stalo roku 1545. Řezník byl popraven, ale zdá se, že mimo Žirovnici.
Po smrti Kryštofa z Gutštejna byl dědicem Abrechtův nezletilý vnuk Šebestián. Albrecht, tušící svou smrt, mu určil pět poručníků, kteří měli Šebestiána zastupovat do doby dosažení plnoletosti. roku 1550 Albrecht z Gutštejna zemřel a tak se stal pánem na Žirovnici jeho vnuk. Jedním z poručníků byl i Jáchym z Hradce, vlastnící nedaleké Počátky. Často v Žirovnici pobýval i se svou rodinou. Roku 1564, již po dosažení své plnoletosti, Šebestián celé žirovnické panství právě Jáchymovi z Hradce za 10.000 kop prodal. Tím skončila éra Gutštejnů na žirovnickém hradě a ten se podruhé stal majetkem pánů z Hradce.
Počínaje Jáchymem z Hradce nastalo období, kdy majitelé hradu na něm nikdy trvale nesídlili. Správu a chod žirovnického paství obstarávala spíše Jáchymova manželka Anna z Rožmberka, která čas od času na žirovnickém hradu bydlela. Za Jáchyma z Hradce došlo k nevelkým stavebním úpravám hradu, které ale znamenaly začátek přerodu hradu v pohodlnější renesanční zámek. 12. prosince 1565 zahynul Jáchym z Hradce ve vodách Dunaje ve Vídni, když se pod jeho výpravou prolomil most.
Jediným synem Jáchyma byl Adam. Ten zdědil všechna Jáchymova panství samozřejmě včetně žirovnického. Zde na hradě pokračoval ve stavebních úpravách, hlavně v letech 1576 – 77 a 1580 – 84. Došlo k zasypání příkopu vedoucího od hlásky k hranaté věži a na tomto místě k postavení budovy, i dnes stojící. Tehdejší vzhled připomínají i dnes sgrafita obnovená na omítkách před vstupem do zámku.
Po smrti Adamově převzal Žirovnici jeho – opět jediný a poslední svého rodu – syn Jáchym Oldřich z Hradce. Ten neměl žádné děti, pouze sestru Otýlii, která v případě jeho smrti měla být dědičkou. Jáchym Oldřich postoupil r. 1602 své panství v Žirovnici svojí matce Kateřině, rozené hraběnce z Montfortu s výhradou, aby jej užívala pouze do jeho smrti. 24. ledna 1604 v Hradci Jáchym Oldřich zemřel. Žirovnici tím získala Lucie Otýlie, manželka VilémaSlavaty z Chlumu a Košumberka, čímž se de facto stali majiteli panství Slavatové.
Tento rod pokračoval ve stavebních úpravách a hrad se stále více stával zámkem. Neexistoval již padací most a zámek byl opatřen červenou rustikou, tak jak je to vidět i dnes po rekonstrukci.
Roku 1618, po známé pražské defenestraci, byla Žirovnice Slavatům zkonfiskována a dostala se do rukou strany podobojí. Lucie Otýlie i Vilém Slavata odešli z Čech, avšak po bitvě na Bílé hoře se vrátili a byli dále pány Žirovnice. Roku 1622 se měšťané v Hradci vzbouřili a přidali se na stranu podobojí. Byl jim za to odebrán majetek, osm z nich bylo uvězněno ve věži žirovnického zámku. Zdi místnosti, v níž byli zavřeni, popsali nápisy, které jsou ve věži dodnes.
Třicetiletá válka, přinesla panství i zámku mnoho zlého. Nejhorší pro zámek byl asi závěr války, zvláště léta 1644 a 1645. Byl totiž obsazen švédskými vojsky a císařští jej dobývali zpět. Přitom děly rozstříleli druhé patro zámku a to již nikdy nebylo obnoveno. Markantní doklad o existenci tohoto patra máme v zachovaných sedátkách okolo oken, dnes viditelných na půdě cestou do věže.
V roce 1652 zemřel Vilém Slavata a Žirovnice přešla do rukou jeho syna AdamaPavla. Ten však již roku 1657 zemřel bezdětný a tak se panství dostalo do rukou synům jeho bratra. Z těch se stal pánem nejstarší Ferdinand. Zemřel r. 1689 bez mužského potomka. Majetek převzal jeho brat Leopold, avšak i on zemřel bezdětný r. 1691. Třetí a poslední z bratrů Karel Slavata byl členem karmelitánského řádu v Římě a o majetek neměl zájem. O všechna Slavatovská panství se tedy dělily dcery Ferdinanda a Jáchyma. Žirovnici dostala Anna Lucie Slavatovna, provdaná Šternberková.
Manželem Anny Lucie byl říšský hrabě Adolf Vratislav ze Šternberka a tak se Žirovnice stala r 1693 majetkem Šternberků. Adolf Vratislav dostal toto panství jako věno své manželky.
Po roce 1693 začala oprava velice zchátralého zámku, který již více než 40 let byl – podle svědectví Bohuslava Balbína – téměř v troskách. Oprava trvala dosti dlouho, na ostění jedněch dveří je letopočet 1716. S opravou započal Adolf Vratislav, který r. 1703 zemřel a Žirovnici převzal jeho syn František Leopold. Za něho byly sneseny už zmíněné zbytky druhého patra a vybudováno nové západní křídlo s řadou pokojů. Zámek v té době již ztratil charakter pevnosti a tak volný hřbet ostrožny před ním byl osázen lipami, což je i dnešní stav. Zároveň byl postaven špýchar, jak dokládá datum a erb Šternberků na ostění dveří. Po smrti Františka Leopolda v roce 1745 se majitelem zámku i panství stal jeho starší syn František Adam. Tento s. k. skutečný tajný rada, zemský soudce a nejvyšší maršálek království byl třikrát ženat. Na zámku Žirovnice již podle dochovaných dokumentů žádné další úpravy neprováděl ani zde – stejně jako jeho předchůdci nikdy nebydlel. Na místě bývalé ostrožny, nyní osázené lipami, byl vztyčen r. 1777 mariánský sloup. Ten je jedinou památkou na Františka Adama. Zámek a vůbec celé panství bylo spravováno prostřednictvím úředníků. V 70. letech 18. stol. došlo k hladomoru, navíc byla zvyšována robota a tak došlo k bouřím poddaných. I zde v kraji byli lidé nespokojeni a tak 24. června 1775 byli robotníci z panství žirovnického a černovického svoláni na zámek do Žirovnice. Očekávali, že jim bude oznámeno zmírnění roboty. To se nestalo a tak na 700 lidí vzalo zámek útokem Vyhnali pacholky pracující na zámku a stali se jeho pány. Majitel zámku František Adam ze Šternberka v Žirovnici nebyl a tak ani nevěděl, co se s jeho majetkem děje. Situace se nakonec uklidnila robota byla poddaným snížena a na panství žirovnickém běžel dál všední život.
Dalšími Šternberky v Žirovnici se po smrti Františka Adama r. 1789 stali jeho dva synové Adam a Leopold. Adam zemřel r. 1811 ve Vídni bezdětný a tak Žirovnice připadla celá jeho bratrovi. Ten se v Žirovnice příliš často neukazoval a omezil se na běžnou údržbu zámku. Zemřel jako s. k. komoří a rytíř sv. Václava ve Vídni 18. 02. 1858 nedlouho po své manželce Karolíně von Valsega. Panství žirovnické tak zdědil jeho druhý syn Leopold, voják a s. k. komoří. Jak se zdá, ten o majetek v Žirovnice již nejevil příliš zájem a zvláště zámek nedostával tu údržbu, kterou potřeboval.
Poslední z rodu Šternberků, který vlastnil Žirovnici přes 200 let, byl po smrti Leopoldově v roce 1899 jeho druhý syn Leopold Albert. Ten měl několik titulu, byl m. j. členem panské sněmovny, ale pro Žirovnici příliš neudělal. Nejvýznamnějším jeho činem bylo to, že po dohodě se zástupci města Žirovnice zámek i celé panství 2. května 1910 prodal za 1.400.000 korun včetně převodních nákladů Městu Žirovnici.
Pokud jde o zámek, byl ve zchátralém a neudržovaném stavu. Místy byly děravé střechy a jedna z nejstarších a asi i původních částí hradu – hláska – se rozpadala. C.K. Zemský konservátorský úřad požadoval opravu zámku a hlásky zvláště, ale přišla I. světová válka a zámek chátral dále. Roku 1917 došlo k činu, který změnil po staletí neměnný pohled na hrad či zámek – zbourání hlásky, jinak dominanty města a zámku zvlášť.
V budově zámku po I. světové válce sídlily úřady – lihovaru, dvorů, města a také určitá zlepšení stavu budovy byla učiněna. Kromě úřadů však v zámku byly i nájemné byty obyvatel Žirovnice. Právě jeden z nájemníků svou neopatrností zapříčinil, že v březnu 1964 v půlkulaté baště na prvním nádvoří, tou dobou sloužící jako kůlny, vznikl požár. Ten zachvátil téměř celý zámek, za oběť mu padly mimo jiné zdravé mohutné střešní krovy z doby obnovy zámku po třicetileté válce.
Tehdy se objevovaly tendence celý objekt zbourat a opravou se nezabývat. Naštěstí zvítězil opačný názor a tak se roku 1972 začalo s celkovou rekonstrukcí zámku. Rekonstrukce trvala dvacet let, financovalo ji město i stát a výsledkem je dnešní stav celého objektu.
Zdroj: Město Žirovnice