El castillo de San Felipe comenzó a construirse en el siglo XVI (año 1557).
Ferrol era un punto estratégico para el reaprovisionamiento de los buques de la Armada Real Española. Con el Reinado de Felipe II se levantó un primer castillo, que fue reformado entre (1731-1775) construyendo un hornabeque, el foso y reformas en la puerta principal para mejorar su defensa contra los ataques desde tierra.
El castillo de San Felipe servía para la defensa de la ría de Ferrol y los ataques por tierra.
Los países europeos luchaban por tener la hegemonía marítima. Ferrol necesitaba una defensa eficaz para la entrada de su ría para poder hacer frente a las pretensiones de los almirantes franceses e ingleses.
En el año 1589 se inició la construcción del baluarte auspiciado por Felipe II, por ello lleva su nombre. En ese mismo año comenzaron la construcción del Castillo de la Palma situado enfrente al de San Felipe, y un poco más alejado el de San Martin; ambos en la orilla opuesta al Castillo de San Felipe.
Entre el Castillo de San Martin y el de San Felipe se tendía una cadena que impedía la entrada a los navíos enemigos. Así lo demostraron en el año 1639 durante el ataque francés al mando del Almirante Henri D'Escobleau y el 26 de agosto de 1800 durante el ataque ingles del General Pultney, hito recordado todos los años por los habitantes de Brión.