Il castello sorge sulla sommità di un colle situato a 600 m.s.m. denominato anticamente “Monte Agragante”. Essa fu costruita, con molte probabilità, durante il XII sec. sulle rovine di un preesistente fortilizio arabo risalente alla dominazione dei Berberi. Il castello fu ristrutturato nel 1330 per volontà di Federico III d’Aragona, il quale modificò la sua struttura originaria aggiungendo un Mastio, ossia una torre quadrata nella quale visse durante il suo soggiorno narese. Il lato occidentale della torre reca uno stemma che ne certifica l’appartenenza alla famiglia Aragona; il lato orientale è caratterizzato da due bifore tipicamente gotiche che illuminano la grande “Sala del Principe” situata al primo piano della torre.

Nel 1336, Naro passa sotto la signoria di Matteo Chiaramonte, il quale apportò ulteriori modifiche al castello.

Il portale d’ingresso a sesto acuto situato ad occidente risale alla fine del ’400. Essa è fiancheggiata da due bastioni (opera difensiva) rettangolari. Le mura del castello sono alte e intervallate da due torri cilindriche e da due torri quadrangolari. All’interno della cinta delle mura vi è un vasto cortile con un pozzo situato al suo centro. All’interno del cortile si trovavano gli alloggi della guarnigione, la cappella e le scuderie, inoltre in caso di pericolo rappresentava un rifugio sicuro per i contadini della zona.

Il castello occupa una superficie di 1460 mq ed ha un perimetro di 166 m.