Il castello sorge su di una rupe (400 m) che domina l'attuale centro abitato, che si è sviluppato verso est, principalmente tra XVI e XVII secolo, risparmiandone l'area.
Il territorio circostante, ricco di testimonianze medievali, è caratterizzato dalla presenza di colline, tra queste anche quella sulla quale si trova il castello di Segesta (monte Barbaro), le cui vicende storiche sono strettamente collegate con quelle di Calatafimi.
Cronologia delle principali fasi storico-costruttive: imprecisabile; la prima attestazione documentaria è quella di Idrisi; restauri furono realizzati nel XVIII secolo.
Notizie storiche:
XII (metà) - Idrisi ricorda Calatafimi come hisn "antico" con sobborgo (rabad) - Amari 1880-1881,1, p. 92.
1169 - viene citata la chiesa di Calatafimi - Bresc Bresc 1977, p. 262.
1239 - Calatafimi è tra i castra exempta di Federico II ultra flumen Saltum - H.-B.,V,p.414.
1271 - il castrum Calatafimi viene concesso in feudo da Carlo I d'Angiò a Guglielmo Porcelet - I Registri, VII, p. 209.
XIII (fine) - Calatafimi è concessa in feudo a Guglielmo Calcerand de Cartellà - Bresc Bresc 1977, p. 362.
1340 - Guglielmo Peralta diviene conte di Calatafimi - Longo 1816, pp. 280-281; Guarnieri 1889 pp. 303 - 4.
1407 - concessione della baronia di Calatafimi a Giaime de Prades - Longo
1816, pp. 290-291.
XVIII (seconda metà) - il castello di Calatafimi viene trasformato in sede dei compagni d'armi e prigione provvisoria per i carcerati di Calatafimi e Vita (Mazara 1981, p. 20).
1881 - il castello abbandonato viene utilizzato come cava di pietra (Ministero Pubbl. Istruz., Busta 598, fase. 1088)..
Il castello, di pianta rettangolare, è composto da una serie di ambienti disposti intorno ad un cortile aperto; l'accesso avveniva tramite un corridoio situato nell'angolo sud-est.
I restauri effettuati nel XVIII secolo hanno compromesso la struttura originaria, che era costituita da una torre quadrata nell'angolo sud-orientale, una grossa sala rettangolare sul lato meridionale ed ambienti di varie dimensioni sui lati orientale ed occidentale. Sul lato settentrionale probabilmente si trovavano altri ambienti. Una cisterna sotterranea di grandi dimensioni, appoggiata alle mura, è situata sul lato occidentale. Una grande torre rettangolare venne aggiunta successivamente nell'angolo nord-orientale.
Una cinta muraria circondava il complesso su tre lati (sud, ovest, nord), sul lato meridionale si nota un rifacimento più tardo a scarpa. I tratti di muratura ancora conservati sono realizzati con pietre calcaree di diverse dimensioni, la cui tessitura risulta irregolare pur essendo riconoscibili alcuni filari messi in posa per portare un piano orizzontale.
La malta, abbondante, è di colore giallo ocra, lo spessore dei muri è di cm 100-120. Una muratura diversa, che vede l'impiego diffuso di frammenti laterizi come zeppe tra i blocchi di pietra, è utilizzata per la costruzione della torre nord-orientale, il cui spessore dei muri è di cm 120. Due arcate ogivali sono conservate nel corridoio di accesso al
complesso. Lo stato di conservazione del castello è discreto; lavori di restauro dei paramenti murari e opere di consolidamento delle strutture sono stati realizzati a cura della Soprintendenza BB.CC.AA. di Trapani negli anni 1992,1994 e 1996.
