V gotické části barokně upraveného zámku se dochovaly pozdně gotické fresky, představující vrchol české nástěnné malby konce 15. století. Je to unikátní a svým rozsahem největší fresková výzdoba v Čechách.
Již na konci 19. století se v Žirovnici na zámku odkryla skvělá malířská výzdoba hradní kaple, datovaná rokem 1490, avšak také kromě maleb v kapli jsou na žirovnickém zámku ještě další, dosud zakryté, malované interiéry, zejména velký hodovní sál, klenutá místnost ve věži. Po úpravách ve 20. století byla ve vnějšku stavby objevena polychromie a velká malovaná postava sv. Kryštofa na severní straně paláce. I tato malba je současná s dekorací kaple.
Roku 1490 byly stavební práce zřejmě z větší části uzavřeny, takže neznámý malíř mohl přistoupit k výzdobě hradní kaple. V její koncepci se donátorův podíl neprojevil zvláště osobitě. Z volby námětů: velkého votivního mariánského obrazu s klečící 
Vencelíkovou rodinou, tradičních pašijových (části evangelií popisující poslední večeři, zatčení, soud, smrt a pohřeb Ježíše Krista, po postních nedělích přichází tzv. Pašijový týden) a hagiografických (písemnictví s náměty životních osudů a činů světců) témat i mysticky pojatého Ukřižování lze snad usuzovat, že Vencelík na rozdíl od druhých dvou členů rodiny opustil utrakvismus (české náboženské reformace zaměřené na požadavek přijímání pod obojí, kališnictví) ve prospěch katolictví, což ostatně potvrzují prameny a zprávy o jeho úzkých stycích s katolickým panstvem.
Nejpozoruhodnější místností pokrytou akantovými ornamenty, které vyrůstají z několika větví a vyplňuje celou plochu je Zelená světnice. Téměř celé čelní pole východní stěny vyplňuje velký obraz lovu. Širokým lesním údolím prchá zvěř, pronásledována družinou lovců na koních a smečkou psů. V popředí lovčí ubíjejí kance a štvou psy, urození lovci pronásledují prchající jeleny. V pravém rohu se shlukla lovecká družina při pitce. Žánrovou scénu doplňuje figura dvorského šaška. Nad ruchem popředí oživeného pestrými barvami kostýmů aristokratických šviháků, skvěle kreslenými koňmi v nerůznějších postojích, i zvěří, zdvíhá se v plynulém odstoupení lesní krajina. V popředí je její reliéf blízký žirovnické vedutě, v levé části se pak otvírá široký průhled k horizontu položenému vysoko až téměř k vrcholu oblouku. Ukazuje stavby neskutečných zámků s mnoha věžemi a mosty.
Protější západní pole zabírá scéna rytířského turnaje: obraz kolbiště, na němž se utkávají dva jezdci, provázení panoši v kostýmech, které střídají červenomodrou a žlutozelenou heraldickou barvu. Jednoduchá centrální kompozice má na ose v pozadí malou tribunu s diváky.
S velkou vedutou sousedí na severní stěně obraz Paridova soudu. Antický motiv je tu důsledně přepracován v duchu dvorského eposu. Jeho dějištěm není volná krajina, ale zahrada paláce, kde leží u fontány spící Paris, středověký rytíř v brnění. Ze snu ho budí Merkur zpodobněný jako středověký učenec. Nese jablko sváru a představuje bohyně. Venuše, Juno a Pallas Athéně předvádějí své půvaby v předepsaných postojích dvorských dam. Zdůrazňují je umnou hrou závojů, které v esovitých křivkách obtáčejí postavy.
Protějškem Paridova soudu na jižní stěně je fragmentárně dochovaný obraz, který lze vykládat jako scénu Šalamounova soudu. Šalamounův soud jako symbol spravedlnosti a moudrosti, vedlejší obraz Judity a Holoferna jako symbol statečnosti. K úplnosti výčtu námětů Zelené světnice zbývají drobné scény a heraldické motivy.
Tyto místnosti byly i erbovními, kde kromě znaků svých byly i erby spřízněných rodů a měli především reprezentovat svou výzdobu. I v dalších místnostech jsou všechny stěny a klenby pokryty pozdně gotickými nástěnnými malbami s vyobrazením světců a světic. Na západní stěně kaple je obraz Posledního soudu s raritou žirovnického zámku – sličnou čerticí. 
Taktéž je zde Stětí sv. Jana Křtitele. Na jižní stěně je Panna Maria mezi světci a s donátory (zde je vyobrazena rodina Václava Vencelíka z Vrchovišť, 6 synů – Matěj, Jindřich, Petr, Kryštof, Jan, Zikmund, dále 2 manželky a dcery). Zde je také vyobrazeno Klanění tří králů. Na severní stěně jsou vymalováni světci a Zvěstování Panny Marie.
V rytířském sále jsou fresky značně poškozeny. Znázorňují cestu Ježíše Krista do Jeruzaléma – od zahrady Getsemanské, po ukřižování a ukládání do hrobu. Zajímavé je vyobrazení mlýna na spodní pohon hned vlevo od výstupu z kaple. Je to údajně druhá nejstarší malba mlýna v Čechách. Na arkádách jsou také fresky: kvádrování, lovecký výjev, klečící žena u kolen sv. Kryštofa, vojenské ležení.