Na území Rájce stály již ve středověku dvě gotické tvrze, které byly zničeny v domácích válkách mezi markrabaty Joštem a Prokopem koncem 14.století. Rájec pak často měnil majitele, až se v roce 1464 dostal do držení rodu pánů Drnovských z Drnovic, který měl pravděpodobně stejný původ jako daleko mocnější páni z Kunštátu, což dokazuje především stejný erb. Ti obnovili jednu z tvrzí, kterou následně za vlády Bernarda Drnovského v roce 1570 kompletně přestavěli na renesanční zámek.

Rod Drnovských však v roce 1618 v mužské linii vymřel a na živu zůstala jen poslední toho rodu Johanna Drnovská, která si vzala za manžela štýrského hraběte Georga Ehrenreicha z Roggendorfu.

Od její smrti v roce 1667 tak přechází rájecké panství do majetků Roggendorfů, kde zůstává až do roku 1763. V tomto roce kupuje Rájec od  sourozenců své ženy za 360 000 zlatých zakladatel nynějšího zámku Antonín Karel ze Salm-Reiffercheidtu (1720-1769).

Panství získal v době, kdy zde již žádný zámek nebyl. Renesanční stavba Drnovských kompletně vyhořela v roce 1757, a proto bylo nutné postavit zámek nový. Antonín Karel si vybral velice moderní plány od italského architekta francouzského původu Isidora Amanda Marcela Canevala ve stylu rokokového klasicismu, který je syntézou forem pozdního baroka a francouzského klasicismu. Stavba zámku trvala po dobu šesti let, od  roku 1763 do roku 1769. Zakladatel zámku starohrabě Antonín Karel umírá již roku 1769, a proto se o poslední úpravy postaral jeho syn kníže Karel Josef (1750-1838)

Zámek patřil knížecí rodině Salmů až do roku 1945, kdy jim byl spolu s velkostatkem na základě Benešových dekretů zkonfiskován a přešel do vlastnictví státu.

Po zestátnění byly na zámku i jeho okolí provedeny mnohé úpravy a restaurátorské práce.

• restaurování obrazů
• opravy fasád
• úprava čestného nádvoří
• restaurátorské a obnovovací práce v interiérech zámku
• v letech 2001-2002 probíhalo zrestaurování a obnovení zámecké kaple a zároveň bylo založeno lapidárium pro pískovcové náhrobky rodiny Drnovských z Drnovic.

Již roku 1949 bylo přízemí zpřístupněno veřejnosti. V 50. letech byla v prvním patře instalována obrazárna z nashromážděných uměleckých sbírek šlechtického rodu Salmů. Sbírce bylo roku 1955 vyhrazeno celé první poschodí. Odborně ji zpracoval a posléze i nainstaloval doc. dr. Oldřich Jakub Blažík. V roce 2011 byla tako instalace změněna na privátní a hostinské apartmány z 2.poloviny 19. století. V roce 1952 bylo veřejnosti umožněno shlédnout sbírky Moravského krasu, které byly v pozdějších letech  zrušeny.

Dnes je státní zámek Rájec nad Svitavou Národní kulturní památkou.

 V současnosti jsou na zámku přístupné:

• reprezentační přízemí s jednou z největších zámeckých knihoven na Moravě.
• první poschodí se soukromými apartmány z 2. pol. 19. stol.
• kaple

Zámecké zahradnictví se od roku 1973 specializuje na pěstování kamelií, v uvedeném roce tam byla převezena vzácná sbírka kamélií z Průhonic u Prahy, čítající dnes čtyři sta odrůd, z nichž některé byly vyšlechtěny rájeckými zámeckými zahradníky Janem Dvořákem a Evženem Kopeckým.