El Castillo de San Felipe en Ferrol fue construido en el siglo XVI, concretamente en el año 1557, por orden de Felipe II. Su ubicación en la bocana de la ría, justo donde empieza a estrecharse la Ría de Ferrol, constituía un bastión defensivo ante posibles ataques marítimos de piratas, corsarios y ejércitos invasores. Además, Ferrol, era puerto de abastecimiento para la Armada Real, por lo que se necesitaba un elemento defensivo.
En frente de este, se situaban dos pequeñas fortalezas, la de Nuestra Señora de la Palma y el de San Martín. Desde este último, hoy prácticamente desaparecido, se unía una gran cadena con el de San Felipe, para detener los posibles avances militares por mar. Caso análogo se realizaba el la Ría de Vigo, justo en el Estrecho de Rande.
En el siglo XVIII, el ingeniero Francisco Montaigu es el encargado de la remodelación de la fortaleza de San Felipe que llegará en este estado hasta nuestros días.
El castillo de San Felipe se sitúa a media milla por mar de Ferrol y a cuatro kilómetros por tierra en la parroquia de Brión. Por eso fue siempre un bastión importante par la defensa de Ferrol, ciudad que adquirió gran importancia como puerto de reparaciones de navíos.
En el año 1800, la fortaleza hizo frente a una escuadra inglesa de 109 buques y 15.000 hombres comandada por Warrwn y Putney. En esta batalla, conocida como Batalla de Brión los ferrolanos provocaron la retirada de la escuadra extranjera al no poder conquistar el castillo de San Felipe.
Ya en el siglo XX, durante la guerra civil española, los muros de esta fortaleza de San Felipe fueron usados como cárcel y como paredón.
El castillo es visitable actualmente bajo pago de una cantidad.
Se encuentra bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.