Dačice jsou jednou z nejstarších doložených osad na pomezí Čech a Moravy. V písemných pramenech se objevují roku 1183 v souvislosti s vysvěcením zdejšího farního kostela, na němž se ve Znojmě domluvil pražský biskup Pelhřim s knížetem Konrádem Otou. Z toho vyplývá, že trhová ves, ležící při důležitém brodu přes řeku Dyji, byla původně zeměpanským majetkem. V dalších staletích ji vlastnil i řád křížovníků s červenou hvězdou a především páni z Hradce, za jejichž vlády získaly Dačice statut městečka. Panství bylo nadále spravováno z nedalekého hradu Bílkova, a to až do jeho zničení a poboření Hynce Ptáčkem z Pirkštejna v roce 1444.
O patnáct let později Zdeněk ze Šternberka, jako poručník dětí po Janu Telečském z Hradce, prodal Bílkovské panství panu Wolfgangu Krajířovi z Krajku za 10800 zlatých uherských. Rod Krajířů, původem z Korutan, se v českých zemích etabloval v době vlády Václava IV. a Wolfgang Krajíř byl jeden z nejvýznamnějších šlechticů věrných králi Jiřímu z Poděbrad. V době koupě panství byl již majitelem nedalekého Landštejna, Nové Bystřice i několika přilehlých rakouských statků a koupí Bílkovského zboží zcelil své panství na pomezí Čech, Moravy a Rakous.
Tehdy v Dačicích již existovalo šlechtické sídlo v podobě malé tvrze při cestě do Telče, jejíž základy se dochovaly v rámci pozdějšího hospodářského dvora.
Krajířové se významně zasloužili o hospodářský rozvoj města, jeho dodnes dochovaná urbanistická podoba se dvěma velkými náměstími byla vytvořena během 16. století, zvláště za vlády Albrechta Krajíře (†1564). Před rokem 1559 byla postavena nová renesanční radnice a sám Albrecht začal stavět vedle již nevyhovující tvrze svůj zámek jako uzavřený čtyřkřídlý palác s cimbuřím a nárožními věžicemi. Sám se dokončení stavby zřejmě nedočkal, neboť zemřel již v roce 1564.6 Ve stavbě pokračovala jeho manželka Magdalena, rozená z Vřesovic, jak dokazuje letopočet 1579 na aliančním erbu obou manželů nad vchodem do „starého zámku“, který vyznačuje datum dokončení stavby, dnešního sídla Městského úřadu.
Jediným Albrechtovým synem byl tehdy ještě nedospělý Oldřich Krajíř (†1600), který se svého dědictví ujal po dosažení zletilosti v roce 1582.
Snad již v dobách Albrechtovy vlády bylo západně od kostela sv. Vavřince založeno nové osídlení s tzv. Horním, dnešním Havlíčkovým náměstím. Dodnes dochovaná pravidelná uliční řada domů svědčí o plánovité výstavbě severní strany nového sídliště, uzavřeného na západě Hradeckou branou. Na jižní straně se Oldřich rozhodl vybudovat nové reprezentativní sídlo, které nebude tísnit okolní zástavba.
O existenci zámku se poprvé dočítáme v roce 1591, v kupní smlouvě na prodej domu „vedle Nového stavení Jeho Milosti“. Za dosavadního stavu poznání se zdá, že zámek byl úplnou novostavbou. Až archeologický průzkum sklepení a bezprostředního okolí areálu by dokázal vyřešit otázku podoby předcházejících staveb. Nelze ani posoudit, do jaké míry byla stavba hotova již ve zmíněném roce 1591. Pravděpodobný stavitel zámku, Francesco Garof da Bissone, tehdy již dva roky odpočíval v hrobu u farního kostela sv. Vavřince, pod kostelní věží, kterou navrhl a postavil díky donaci Oldřicha Krajíře. Věž, dokončená roku 1586, nese desku s dedikací právě Oldřichovi a je otázkou, zda její stavba předcházela, či byla současná se stavbou zámku.
Zámek byl v souladu s dobovým vkusem nejspíše plánován jako pravidelný na čtvercovém půdorysu. Později ale došlo ke změně, neboť severní křídlo obrácené do náměstí nyní přečnívá křídla boční. Nejviditelnějším pozůstatkem renesanční stavby jsou nádvorní arkády severního křídla, které byly původně ještě o dvě pole delší. V podobě omítkových sgrafit byly arkády opakovány také v patře protější jižní vstupní části. Jedna z místností mezipatra západního křídla s dochovanou hřebínkovou klenbou je zřejmě dokladem podoby původních spojovacích bočních křídel, v nichž byla také schodiště do pater obou hlavních zámeckých budov. V komoře nad dnešním kastelánským bytem se částečně dochovala klenba původní zámecké kaple. Jedinou památkou kdysi jistě bohaté kamenické výzdoby je renesanční portál s kamenným erbem Krajířů z Krajku v přízemí jižního křídla.
Exteriéry zámku byly zdobeny uměřeně, rohy fasád zvýrazněny kvádrováním, plochy členěny sgrafitovými psaníčky, jejichž barevnost i utváření byly velmi podobné, jaké můžeme spatřit na věži farního kostela. Věž byla osazena stejnými toskánskými sloupy, jaké mají obě patra zámeckých arkád. Tento postup se vymyká principu odstupňování řádů, užitých na ostatních moravských arkádových zámcích, s výjimkou zámku v Hrubšicích, dokončeného nejspíše také na sklonku 16. století pro Jana z Lipé – manžela Kateřiny Krajířové z Krajku. Jeho rodové sídlo v Moravském Krumlově postavil pro Janova otce Pertolda z Lipé italský stavitel Leonard Garof, který byl Francescovým bratrem. Oldřich Krajíř zemřel v roce 1600. Majetek po něm zdědila jeho sestra Kateřina, již zmíněná manželka Jana z Lipého. Dačice pro oba manžele postupně ztrácely na významu, a Kateřina v roce 1610 prodala městečko Dačice „se starým a novým zámkem“ rytíři Vilému Dubskému z Třebomyslic za 106 000 zlatých.