Circa l’anno di costruzione della fortezza si sa ben poco, alcune fonti dicono che la fondazione del castello sia addirittura antecedente al X secolo. Le prime testimonianze della presenza del castello si hanno in epoca arabo-normanna, quando era usato come fortezza difensiva per il porto. Col susseguirsi dei popoli, vista la sua vantaggiosa posizione geografica, il castello fu continuamente ingrandito e fortificato; era dotato anche di una moschea, poi trasformata in chiesa dai normanni. Con gli spagnoli, divenne sede del vicerè e più tardi, nel 1551, sotto il regno di Ferdinando il cattolico con De Vega vicerè, diventa residenza dell’inquisitore e del tribunale dell’inquisizione e in questo periodo diventano tristemente famose le sue anguste prigioni sotterranee che fecero migliaia di vittime. Tutto questo fino al 1593, quando un’esplosione provocò tantissime vittime tra detenuti e carcerieri: tra le vittime illustri ci fu il poeta locale Antonio Veneziano, prigioniero per aver offeso il vicerè. Preoccupato per l’esplosione, l’inquisitore Paramo decise di trasferire il tribunale al palazzo Chiaramonte lasciando al castello le prigioni fino al 1609. Il castello è stato protagonista di tante battaglie, da ricordare quelle dei savoiardi e spagnoli nel 1718, quella tra gli austriaci asserragliati dentro il forte e i Borboni, vincitori nel 1734 e ultima la ribellione contro il potere borbonico barbaramente repressa. Quello che rimane oggi del castello è poco più di un rudere, visto che nel 1923 fu distrutto con cariche esplosive per far spazio all’espandersi del porto. Adesso, forse per rimediare all’errore fatto con la demolizione, il comune ha programmato un restauro del maniero con l’intenzione di creare un’area archeologica.