Esemplare testimonianza del XV secolo, la Torre Cabrera sorge, maestosa e silente, nella parte centrale della insenatura, quale ideale punto di collegamento del litorale pozzallese. A secoli di distanza, essa conserva l'aspetto austero di monumento emblematico del sistema difensivo delle coste siciliane, minacciate e depredate dalle incursioni piratesche; rievoca le vicende storiche del Caricatore della Contea di Modica, comprendente il territorio della attuale provincia iblea; spiega la nascita della borgata di Pozzallo, "eretta in separato comune" nel 1829 con il decreto di Francesco I di Borbone.
La Torre Cabrera, simbolo in cui l'intera comunità si riconosce, ha costituito il cardine intorno al quale si è organizzato il territorio, ha interpretato la vocazione marinara e commerciale di Pozzallo, ha custodito l'immagine suggestiva della sua presenza, limite e soglia della città e del suo mare. Alla costa pozzallese si era rivolta, negli ultimi anni del '300, l'attenzione dei Chiaramonte, Conti di Modica per circa un secolo (1283-1392), cui si deve l'iniziale scelta del luogo a sede del Caricatore. Con l'investitura della Contea di Modica al nobile spagnolo Bernardo Cabrera, che aveva aiutato gli Aragonesi nella spedizione contro il ribelle Andrea Chiaramonte, giustiziato nel 1392 a Palermo, il Caricatore di Pozzallo viene ampliato e dotato di ulteriori magazzini costieri, attrezzati con funzionali pontili per facilitare le operazioni di imbarco delle merci.
Tra i poteri eccezionali concessi al Conte di Modica, all'atto della investitura, è da annoverare il privilegio di "esportare in franchigia 12.000 salme di frumento, orzo ed altre vettovaglie dal caricatore annesso al porto di Pozzallo". Questa concessione, concretamente, sanciva la rilevanza economica del fiorente caricatore, dove confluiva il grano prodotto nel territorio della Contea e destinato alla esportazione lungo le rotte mercantili del Mediterraneo. Per l'entità degli interessi commerciali il complesso portuale fu dotato di una Torre difensiva, fatta costruire nel 1429 da Giovan Bernardo Cabrera, erede del potente e leggendario Bernardo, morto a Catania nel 1423.
La Torre, che, appunto dai Conti Cabrera (una capra è nel loro stemma) prende il nome, è affacciata sul mare e "tanto vicino al lido che le onde talvolta le bagnano i fondamenti" come rilevava nel XVI secolo il Camilliani, l'architetto fiorentino che, per incarico della deputazione del Regno di Sicilia, percorse ed esplorò le coste isolane, minacciate dai corsari e dall'aggressività dei Turchi. Lo stesso Camilliani ne evidenziò la funzione: "Questa serve per securtà del grano che quivi si conduce, che serve la maggior parte per l'isola di Malta, per essere il più vicino luogo di tutta l'isola di Sicilia per distanza di sessanta miglia". Ancora oggi l'imponente e compatta costruzione, definita dal Fazello "ingens et magnifica" rivela la funzione di Torre-fortezza, avamposto difensivo e punto di sorveglianza di una vasta zona costiera; entro le sue poderose mura, pur corrose dal tempo, dove sono visibili feritoie ed aperture, era insediato, agli ordini di un Castellano, un presidio militare. Così annota il Grana Scolari: "La Torre serviva d'ufficio al Maestro Portolano che ne era il governatore, assistito da sei soldati, dalla artiglieria, oltre gli impiegati che formavano una piccola corte". Il servizio di vigilanza costiera era completato da guardie itineranti che a piedi (pedoni) o a cavallo (cavallari) sorvegliavano e perlustravano la costa ed il mare. Nel territorio interno della Contea il servizio di guardia si svolgeva nei "posti di fano" collegati con precisi sistemi di comunicazione in caso di allarme e di pericolo. Il ruolo difensivo assegnato alla Torre risalta nel corso del tempo sia per le esigenze militari che per quelle economiche. In conseguenza dei danni, causati in Val di Noto dal disastroso terremoto del 1693, le preoccupazioni del Conte di Modica sono assorbite prioritariamente dalla zona costiera per i vantaggi materiali assicurati dalle considerevoli attività di esportazione. "L'attenzione del Governatore - scrive Dufour - si concentrerà nel piccolo porto di Pozzallo (...) di dove ogni anno venivano imbarcate, soprattutto alla volta di Malta, le 12.000 salme di grano, franche, concesse al Conte. Protetto da un bastione e da una torre gravemente danneggiati il caricatore ha bisogno di urgenti riparazioni", che i Conti Enriquez-Cabrera approntarono con celerità.
Nel secolo successivo, altri eventi sismici sollecitarono interventi di riparazione e di consolidamento, necessari anche per arginare i contraccolpi delle artiglierie. La Torre "è riparata nel 1767 con aste di ferro" (Ruggiero Sigona). Ma nel breve volgere degli anni, l'importanza e la funzione della torre si vanificarono poichè, in forza del Regio Decreto del 12 dicembre 1816, furono annullati le istituzioni e i privilegi della Contea, già nominalmente liquidata nel 1802 ed incamerata al fisco.