Základy zámku sahají do roku 1120, kdy tato budova sloužila jako jeden z největších benediktinských klášterů ve střední Evropě. Původním zakladatelem tohoto kláštera byl opat jménem „Vilém“, od něhož byl odvozen název pozdějšího zámku i vesnice – „Vilémov“. Dlažba na podlaze současné společenské místnosti, stejně jako tvar stropu, pravděpodobně pochází z 12. století.

V roce 1421 zničili klášter husité a zůstaly po něm pouze základy. Na jeho troskách byla později v roce 1578 postavena tvrz. O více než sto let později byla tato tvrz přestavěna na renesanční zámek.

V roce 1684 koupil Vilémov hrabě Caretto de Millesimo, markýz ze Savony. Markýz a jeho rodina zámek v průběhu 22 let rozšířili a změnili styl z renesančního na barokní. Je známo, že barokní fasádu navrhl italský architekt Francesco Caratti. Řadu architektonických detailů pak na ni přidali řemeslníci přivezeni z Itálie.

V roce 1852, kdy vymřela mužská linie rodu Caretto de Millesimů, přešel zámek a majetek na nejbližšího pokrevního příbuzného, barona Františka Václava Rajského z Dubnice. Od té doby hrad vlastnili baroni z rodu Rajských, ale během druhé světové války panství převzali nacističtí okupanti a rodinu vyhnali.

V roce 1945 byly na zámku ubytovány jednotky ruské armády pod vedením generála Malinovského. Na jednom ze střešních ozdobných prvků nad terasou jsou stále patrné díry po kulkách, protože zde vojáci cvičili střelbu na terč. Později téhož roku bylo panství vráceno rodu Rajských.

V roce 1948 byl zámek zkonfiskován komunistickým režimem a byl využíván k různým účelům, např. pro provoz základní školy. Během tohoto období byla odstraněna nebo odcizena všechna umělecká díla, nábytek a různé další rodinné památky. V roce 1991, kdy byl zámek po sametové revoluci opět vrácen rodu Rajských, byly budovy prázdné a v naprosto havarijním stavu. V hlavní chodbě se nachází fotografie dokumentující, jak zámek během desítek let chátral a jak se jej rodina snažila postupně restaurovat až do dnešní podoby.

V letech 1992–1997 nechal zámek zrestaurovat profesor Vladimír Rajský z Dubnice, který se po 25 letech přednášení na americké University of Virginia vrátil zpět, aby získal v restituci rodinné dědictví. Díky rozmanitým ubytovacím a rekreačním zařízením nyní zámek a jeho přilehlý park slouží jako ideální místo pro konference, semináře a společenské akce, jako jsou koncerty, svatby, srazy a oslavy.

Zámek Vilémov je jedním z nejdokonalejších barokních zámků v České republice. Nachází se v nádherném lesnatém kraji Vysočina hodinu jízdy východně od Prahy. V současné době panství a přilehlý les spravuje čtvrtá generace rodu Rajských z Dubnice, kteří ho chtějí zachovat pro další generaci.