Původně renesanční zámek si nechal zbudovat Oldřich Krajíř z Krajku, který se však dostavby sídla nedožil. Zámek poté vystřídalo několik majitelů, z nichž za zmínku stojí Berkové z Dubé, kteří iniciovali barokní úpravu zámecké věže a nechali do ní vsadit hodinový stroj, na němž je vyryt letopočet 1713. Významná barokní přestavba zámku v 18. století proběhla však pravděpodobně až za hrabat Osteinů, po kterých zámek na začátku 19. století zdědil rod komořích z Wormsu, říšských svobodných pánů z Dalbergu, pro něž se Dačice staly hlavní rezidencí.