Il bianco paesino, si raccoglie attorno alla chiesa madre, dall'aspetto squadrato e massiccio, che ricorda la sua nascita come fortezza saracena, che nell'arco dei secoli ha subìto numerosi interventi edilizi. La prima costruzione, realizzata intorno al trecento, fu una piccola cappella dedicata a San Vito martire, patrono del borgo marinaro. Secondo una tradizione accettata e riportata da tutti gli agiografi e cultori di storia siciliana, il giovane Vito (di origini presubilmente della Lucania), per sfuggire ai rigori della decima persecuzione ordinata da Diocleziano 303-304, e alle ire del padre Ila e del prefetto Valeriano, assieme al suo maestro Modesto e alla nutrice Crescenzia, scappato via mare da Mazara, col favore dei venti approdo sulla costa del feudo della Punta, in territorio di Monte Erice, dagli antichi chiamato Capo Egitarso. Qui cominciò a predicare la parola di Dio tra la gente del luogo, in una borgata poco distante dalla spiaggia, chiamata Conturrana. In nome di Dio guariva gli infermi, quanti fossero colpiti da rabbia o morsi da animali, o compromessi nella salute per un improvviso spavento, scacciava gli spiriti immondi. Ma, a dispetto dei numerosi miracoli operati, la sua opera fu coronata da scarso successo, e si concluse col castigo inflitto da Dio a Conturrana. La credenza popolare ritiene che il giovanetto S. Vito, martire al tempo di Diocleziano, sia stato in questo paese non benevolmente accolto, allorquando si era colà rifugiato, accompagnato dai precettori Modesto e Crescenzia. L'inesorabile ira divina si era abbattuta sul paese, seppellendolo completamente sotto una frana, non appena i tre profughi avevano lasciato il centro abitato, dirigendosi verso il mare. Sempre secondo tradizione Santa Crescenzia, voltandosi a guardare la città che crollava, divenne pietra nello stesso punto dove adesso sorge la cappella, alla quale ancora oggi gli abitanti del luogo attribuiscono poteri magici. Per S. Vito, invece, seguì una breve dimora nell'Egitarso e, dopo un viaggio attraverso la Sicilia e la Basilicata, il martirio il 15 giugno del 299.

Col tempo crebbe la fama della chiesa e dei "miracoli" attribuiti al martire Vito e a Santa Crescenzia e così, per accogliere i numerosi fedeli che arrivavano in pellegrinaggio - e, soprattutto, per difenderli da ladri e banditi - l'originaria costruzione andò trasformandosi in una fortezza/alloggio. Tale realizzazione risale alla fine del quattrocento. Fin dall'inizio, il Santuario fu fatto centro ad una grande devozione e la fama dei miracoli che il Santo qui operava, varcava anche i confini della Sicilia, richiamando in ogni stagione numerosissimi pellegrini. Anche gli stessi corsari, nemici dichiarati della fede cattolica, avevano rispetto per il Santo e per il suo tempio.