Racalmuto, paese agricolo posto a trentaquattro chilometri da Agrigento, si sviluppò come borgo attorno al Castello dei Chiaramonte nel periodo della conquista normanna.

La costruzione della fortezza risale al tempo della baronia di Roberto Malcovenant, un francese al seguito di Re Ruggero d'Altavilla.

Successivamente Federico d'Aragona (1272-1337) trasferì la proprietà del castello e del feudo circostante a Federico II Chiaramonte.

I nuovi signori di Racalmuto rifondarono, all'inizio del '300, la modesta dimora che i Malcovenant avevano costruito, rendendola imponente.

Il maniero si erge a oriente del centro abitato e si sviluppa su una struttura poligonale dalla massa compatta.

Il prospetto della fortezza, posto sul cosiddetto piano castello, una terrazza di solida roccia, ha mura dallo spessore di circa due metri chiuse da due alte e colossali torri e corredate di due file di dodici finestre.

Il lato meridionale ospita al piano terra porte a arcate, una linea di balconi al piano nobile e una serie di finestre sparse senza un ordine preciso sulla facciata.

La torre di sinistra si conserva nella sua forma originale mentre quella di destra è stata rifatta a belvedere.

Il castello, per la pianta trapezoidale, per le tipiche finestre, per i torrioni a base circolare, per la disposizione del portale e degli ingressi secondari, è sicuramente una costruzione caratteristica dell'architettura militare del periodo svevo.

All'inizio del novecento il castello è stato dichiarato monumento nazionale.