Il paese è dominato dalla squadrata mole del castello, fatto costruire verso l’anno 1220, da Federico II di Svevia. L’arroccato complesso fu dato dall’Imperatore in custodia a Matteo Selvaggio. Nel 1240 è signore del castello e delle terre di Scaletta Giovanni Selvaggio, padre di Matteo junior e della bella Macalda, andata successivamente in sposa ad Alaimo da Lentini. Nel 1325 il Castello viene concesso da Pietro II d’Aragona a Peregrino di Patti, cancelliere del Re. Nel 1397 il Castello e le terre di Scaletta vengono concesse a Salimbene Marchese, resosi famoso per la sentenza di morte pronunziata contro il Vicario del Regno Andrea Chiaramonte. Nel 1535 fu ospite di Scaletta l’imperatore Carlo V d’Asburgo, reduce dalla strepitosa vittoria ottenuta contro i musulmani a Tunisi. Nel 1672 il Castello e le terre di Scaletta furono vendute da Francesco Ventimiglia ad Antonio Ruffo Spadafora.
Dal 1674 al 1676 Scaletta fu teatro di continue battaglie tra la flotta spagnola, aiutata da navi olandesi, e la flotta francese di Luigi XIV.
Fino al 1812 Scaletta fu città feudale, indipendente dal governo centrale ed appartenente al Principe Ruffo, ultimo feudatario, che governava sulla popolazione. Dopo il 1812 il feudalesimo fu abolito e Scaletta divenne “Comune”.
Il Castello Rufo Ruffo, secondo le parole del Prof. Santi Agnello, è piantato sul vertice di una collina precipite, tutt’intorno recinta da valli inaccessibili. Nel solo lato orientale, che guarda sullo stretto, il pendio è meno erto ed è in esso che è stata ricavata, con paziente lavoro umano, la faticosa mulattiera, che tuttora congiunge, come nell’oscuro medioevo, "la marina" (fraz. Scaletta Marina) al castello. È in questo lato, infatti, che, sfruttando le maggiori accidentalità venne costruita su una breve spianata che interrompe la foga dell’ascensione, la fortezza avanzata, dove vennero installate, nel seicento numerose bocche da fuoco, che resero invulnerabile la costa.Il profondo mutamento, apportato dall’introduzione delle artigliere, rese necessarie, anche nel sistema difensivo del castello di Scaletta, grandi opere integrative, di cui restano tuttora autorevoli avanzi. I maggiori danni sono derivati dal quasi totale abbandono in cui è stato lasciato nell’ultimo secolo. Il castello di Scaletta non è stato eretto con un preciso piano architettonico. Esso ha dovuto piegarsi alle inderogabili esigenze topografiche che hanno imposto soluzioni obbligate."Si sono compiute delle vere e proprie acrobazie architettoniche per vincere le disuguaglianze della roccia e comprenderle in solo organismo”. All’esterno l’organismo architettonico presenta, in complesso, caratteri di una certa unità costruttiva, con tracce di manomissioni e di rabberciamenti postumi, oggi pressocchè incontrollabili, a cagione della muratura a pezzate che unifica, senza evidenti demarcazioni, le parti diverse. La caduta degli intonachi ha messo allo scoperto l’apparato murario, costituito essenzialmente di blocchetti calcarei, sommariamente sfaccettati e disposti in allineamenti poco rigorosi. L’azione del tempo, cospargendo tutta la massa di una patina uniforme, ha unificato le tonalità, rendendo, per ciò stesso, sterile ogni tentativo di sorprendere nella compagine esteriore le aggiunte e le modifiche. I lati maggiormente decorati sono il sud-est ed il sud-ovest, dove l’apertura di finestre simmetriche, distribuite in diversi piani, ravviva il severo aspetto militare dell’insieme. Perfettamente conservate sono le finestre del lato sud-est: due bifore in corrispondenza del piano nobile, due piccole monofore nel piano superiore della servitù.La stessa distribuzione si ha nel lato sud-ovest: eguale il numero eguale l’ordine d’ impostazione.Il lato nord-ovest, ove si apre la porta d’ingresso, non presenta, allo stato attuale, che una sola bifora chiusa; tutto il resto del prospetto, di una rigida severità, è perfettamente cieco. La porta ogivale recinta da grandi conci in arenaria, conserva la sua integrità di struttura.Una più ridotta varietà decorativa presenta il quarto lato nord-ovest- in cui non si riscontrano tracce di bifore.Varcando la soglia, l’attenzione è attratta dall’altezza della volta a botte, dalle finestre sospese nel vuoto, dalle porte di intercomunicazione, tagliate nell’alto dei muri divisori ed oggi assolutamente inaccessibili.I tre piani, nell’economia del castello, rispondevano naturalmente, a diverse esigenze e avevano quindi una diversa funzione.Gli ambienti del pianterreno servivano gli armigeri e per il personale addetto alla difesa del castello; il superiore, rispondente al piano nobile, era destinato al castellano e alla sua famiglia, l’ultimo – piano ammezzato – accoglieva probabilmente la servitù.Oggi, nei diversi piani, sono soltanto rilevabili numerose edicolette murali, disimpegnanti l’ufficio di armadi, e, nel piano nobile, il taglio di un grande camino. Caratteristici sono pure alcuni tagli verticali che s’ingrottano nei muri e che attraversano per tutto lo spiegamento dei tre piani; potevano servire da collegamento per un più rapido scambio della piccola suppellettile e assolvevano l’ufficio di canne portavoce. L’accesso al piano terrazzato, che si stende sulla volta a botte, è reso agevole da una lunga scala lapidea a cielo scoperto praticata in un piccolo atrio quadrato. All’esterno la sua presenza è denunziata da un muro rampante, attraversato da numerose feritoie. All’interno del castello è stato allestito un museo, costituito da bacheche e recinzioni allestite nelle varie sale e recanti documenti cartacei (specie iconografici) ma anche araldici, che riguardano il territorio e la famiglia Ruffo. Di vivo interesse culturale sono le medaglie, gli oggetti artigianali, le armi di guerra e le armature, disposti ad arte nei vari ambienti. Un’ulteriore attrazione culturale volta ad accrescere le conoscenze riguardanti il territorio di Scaletta Zanclea.