La storia del Castello di Venere a Erice è legata al culto della dea sin da tempi antichissimi, addirittura risalenti a epoche antecedenti all’arrivo dei Greci sull’isola.
Intorno al XII secolo a.C. sulla vetta del monte Erice giunsero i Sicani, un popolo indigeno della Sicilia, e lì elevarono una piccola ara all'aperto, dedicata ad una divinità femminile, considerata dea dell'amore, della fecondità e protettrice dei naviganti. Il culto della dea aveva una natura per molti versi oscura che comprendeva l’allevamento delle colombe e la prostituzione sacra, all’interno del tempio.
Successivamente anche altri popoli conquistatori della Sicilia mantennero il culto della dea (i Fenici con il culto della dea Astarte, e i greci con Venere successivamente), così pellegrini da ogni parte giungevano per renderle omaggio.
Erice subì diverse dominazioni, e con la caduta dell'impero romano il santuario fu abbandonato e con lui tutto il centro abitato della Vetta di Erice. Secoli dopo, con l’arrivo degli Altavilla che conquistarono la cittadina, Erice rinacque e fu portata al suo antico splendore.
Nella loro opera di ricostruzione e rinascita, i normanni fecero di tutto per cancellare ogni traccia dei riti pagani di quel santuario posto sull’estremità ad est del monte, al punto da distruggerlo e ricostruire sopra di esso una fortezza che dall’alto domina tutto il panorama dell’agro-ericino. Fu così che nacque il Castello di Venere.
Fino al XVI secolo la struttura fu presidio militare spagnolo. Il passaggio nelle mani del Comune avvenne con la riforma borbonica (1818-1819) che lo trasformò in carcere, ma alla fine del secolo, il conte Agostino Pepoli, nobile mecenate della zona, siglò con l'amministrazione della città un accordo: in cambio della concessione del castello avrebbe rimesso in sesto tutta l’area riqualificandola e trasformandola in un meraviglioso salotto all’aperto.
Il Conte effettuò una bonifica dell’area, creò un giardino (i cosiddetti Giardini del Balio, meravigliosa area verde del borgo), restaurò due delle tre torri (denominate Torri Pepoli da qual momento) ormai diroccate, e ricostruì la torre pentagonale andata distrutta nel XV secolo.
