Hrad Zvěřinec stával na skalnatém výběžku v lese se stejným jménem. Zdejší kopec si za své sídlo už vybrali kdysi obři, Bójové, rytíři i Páni ze Zvěřince. Podle Schallera se hrad jmenoval Krakov a les jej ohraničující Zvěřinec. Z hradu samotného se nedochovalo takřka nic. Jen zbytky valů, základů první brány a několika hospodářských budov. Ze severu byl chráněn příkrou skalní stěnou. Na východě byla opevněná strmá stráň. Na jihu byly vykopány asi osm metrů široké a několik metrů hluboké příkopy.
Jejich zbytky byly bohužel zasypány, a když se na hradě v šedesátých letech minulého století pořádaly zábavy, byly jejich zbytky rozhrnuty buldozerem, aby mohl na hrad vyjet traktor s pivem. Podle Šimečkova plánu vedla přístupová cesta přes příkop až k první bráně. Vlevo od ní stála hospodářská budova, která se táhla ve dvojím zalomením i po západní stranně celého předhradí až k baště. Vpravo nejspíš stávala strážnice a do pravého úhle stála nad příkrým svahem další budova. Nejspíš hlavní palác. Na malé skále stával zadní hrad s dřevenou strážní věží. Přístup k ní byl nejspíš po dřevěné lávce z vedlejšího stavení. Hrad samotný byl postaven někdy v první polovině 14. století. První zmínka je z roku 1362, kdy se připomíná Mareš (někdy též Martin) ze Zvěřince. V letech 1362 - 1378 byl se svými bratry Heřmanem a Kunrátem (Konrádem) z Chvojna patronem jesenického kostela. Po něm vládli na hradě jeho synové Bohuše a Mikuláš. Ti jsou známi tím, že se několik let hádali s Jesenickým farářem o desátky. Co nešlo dohodou vyřešili bratři silou. Uvěznili faráře na hradě a jeho dům spálili. Po čase se z kraje odstěhovali a hrad koupil roku 1412 Václav, který se psal ze Zvěřince, ale pocházel z jiného rodu. Údajně u něj na hradě pobýval Mistr Jan Hus v době, kdy se zdržoval na jihočeském venkově. Faktem ale je, že Václav připojil svou pečeť na stížný list po Husově upálení v Kostnici. Dalším známým majitelem byl Arnošt Leskovec za jehož vlády plenili hrad táborité. Od roku 1471 patřil už neobydlený a zpustlý hrad Růtům z Dírného. Ale Oldřich Růt nebydlel již na hradě, nýbrž pod ním na statku Úlehle. V 16.století vlastnili hrad bratři Bo- huslav, Chval, Jan, Petr, Václav a Vilém Růtové z Dírného. Ti prodali hrad Alžbětě z Koutů, manželce Mikuláše Měděnce z Ratibořic. Ještě roku 1573 se jeho syn Petr psal "seděním na Oulehli pod zámkem Zvěřincem." V dalších staletích hrad už jen pustl a díky větru, vodě, bujné vegetaci a vynalézavým chasníkům z okolí skoro vymizel z povrchu zemského.
Trojice možných příčin zpustnutí hradu a jedna pověst k tomu:
1. Podle N.A.Vlasáka byl hrad zbořen v čase občanských válek za panování Jiřího z Poděbrad někdy kolem roku 1467
2. Podle A.Sedláčka se Leskovci jež drželi hrad po Václavovi zdržovali převážně na Bechyňsku a Čáslavsku. Proč teda cpát peníze do oprav hradu, který byl tak daleko
3. Dalším důvodem mohl být nedostatek vody a její obtížné získávání a dopravování na hrad. Zbytky dvou malých rybníčků (či nádrží) byly totiž objeven až pod východní strání asi padesát metrů pod hradem
4. A verze poslední trošku pohádková. V hlubokém lese na Bílé skále stál hrad. Rytíř toho hradu měl za manželku sestru zvěřineckého pána. Byl dobrý hospodář a měl všeho hojnost. Zato zvěřinecký pán si hleděl více lovu a kostek a o dvůr se vůbec nestaral. Čím více hrad upadal, tím víc záviděl svému švagrovi až ho začal nenávidět. Jednou pán z Bílé skály odjel na dlouhou cestu. Tehdy se zvěřinecký pán sebral a vypálil mu hrad do základů.Když se rytíř vrátil domů proklel paliče a s rodinou odešel z kraje. Zvěřinecký pán jednou na lovu zabloudil až na Bílou skálu.Tam se vysmál švagrovu proklínání. V tom obloha zčernala blesky a hromy se míhaly vzduchem. Pak se ozval hrozný rachot a nad Zvěřincem se zvedl sloup prachu. Pán pobídl koně domů. Tam, kde stál hrad zbylo jen kamení a ruiny. Pak pobídl koně, vyjel až na skálu a vrhl se i s koněm do hlubiny. Tolik praví pověst.