Il Castello è posto sulla parte più alta del Monte Marone, e fu costruito probabilmente nel XIV secolo già prima della ricostruzione del paese. Da sempre residenza dei signori della Contea: i Ventimiglia prima e successivamente i Graffeo. Oggi è adibito ad abitazione privata, una delle sue ali è stata abbattuta negli anni venti per far posto al serbatoio comunale.