Se ubica a los pies de la vertiente noroeste del promontorio que confronta el cabo de Tosa, dentro de un recinto amurallado que tiene un perímetro de unos 300 metros construido entre los siglos XII y XIV, como defensa contra la piratería. Se conserva casi la totalidad del perímetro original con almenas rectangulares, ménsulas y aspilleras en los ángulos, y con siete torres de planta circular ataludada y cuerpo cilíndrico. Destacan tres grandes torres cilíndricas denominadas des Codolar o del Homenaje (al oeste, junto al que fue el Palau del Battle y que actualmente acoge el museo municipal), de ses Horas o del Reloj (junto al portal de entrada a la villa) y de en Joanàs (la más oriental, casi encima del mar). De época románica son las saeteras de la muralla, hechas con dos o tres bloques de piedra, y el paramento con piedras poco desbastadas visibles en la parte inferior, mientras que el resto del recinto amurallado pertenece al momento de su reconstrucción en el s. XIV. Del castillo, que estuvo situado donde está el faro, no queda casi nada. En cambio, se han conservado vestigios de la primitiva iglesia parroquial, de estilo gótico, dedicada a San Vicente.