Este castillo, mandado construir por Carlos III en 1770, es uno de los ejemplos de fortificaciones del siglo XVIII mejor conservados de toda la costa andaluza. Cumplió con los principios vistrubianos de la firmitas, utilitas y venustas (solidez, funcionalidad y belleza) a la hora de realizar su construcción.
En el periodo de su construcción se ubicaba en primera línea de playa pero hoy la costa aparece más retirada de sus estructuras. Conecta con las torres de vigilancia de Cerro Gordo y Punta de la Mona, dominando toda la bahía de La Herradura.
En su fachada se puede comprobar el impacto de cañón que sufrió durante la Guerra Civil. Su interior, lleno de grafitos de diferentes etapas, alberga exposiciones temporales y en los jardines que le rodean se programan eventos culturales de diferente índole.