Las constantes invasiones e incursiones marinas de la costa gallega en los siglos XVII y XVIII, por parte de corsarios ingleses y franceses, provocó que a lo largo de las Rías Altas se construyeran una serie de baluartes defensivos con el motivo principal de garantizar la seguridad de la población y de las riquezas de la tierra. Una de esta fortalezas fue el castillo de San Carlos, construido en la población de Fisterra. Otras fortalezas defensivas eran el Castillo del Príncipe en Ameixenda (Cee), el del Cardenal en Corcubión o el del Soberano en Camariñas.
Su construcción se debe a los ingenieros Demaur y Exaccha, a mitades del siglo XVIII, pero no fue hasta una década más tarde cuando el rey Carlos III ordenó acabarlo. Su forma es irregular para poder adaptarse a las exigencias del terreno rocoso ya que se encuentra al borde del mar. Tenía tres troneras en tres direcciones y una nave central para la tropa. Durante la invasión napoleónica fue incendiada y después de muchos años fue vuelto a reconstruir. El castillo pasó a tener un carácter cultural, benéfico y sanitario.
Hoy en día alberga el Museo del Mar, en el cual se muestra una exposición permanente de las artes de pesca a lo largo de la historia, en una comarca cuyo devenir siempre estuvo marcado por la mano del mar.
El fuerte de San Carlos de Fisterra se encuentra bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.
