Es de origen árabe, siendo conquistada la plaza en 1249 por Fernando III de Castilla, y sería rehecho en 1392.

Existe la leyenda de un encantamiento según la cual se aparecería la morisca Acsia, que deambularía por pasadizos que comunicasen la fortaleza con el subsuelo de la localidad.

En 1492 este recinto fue testigo mudo de las luchas en tiempo de los Reyes Católicos entre las casas de los Duques de Medina Sidonia y el Marqués de Cádiz, luchas que se mantuvieron alternativamente por los linajes de los Guzmán y los Ponce de León hasta que el Duque de Medina Sidonia lo recupera para restablecer sus comunicaciones con Castilla. Éste le entregó las llaves del Castillo a Isabel la Católica en octubre de 1477.

Dañado gravemente por las tropas francesas en 1808, que dinamitaron su muro suroeste, existen documentos sobre las reformas realizadas al Castillo por mediación del Cabildo de Sevilla.