Cuando los portugueses en el año 1663 ocupan la Fortaleza de Goián, también en la orilla del Miño, la población de A Guarda se ve obligada a construir una fortaleza a toda prisa y para ello utilizarían la piedra de la antigua muralla que protegía la ciudad. Fue la fortaleza de Santa Cruz. Sin embargo y a pesar de la resistencia su construcción no valió para contener al ejército portugués que en el año 1665 la ocupó también hasta el año 1668. En estos tres años de ocupación, los lusos construyeron junto al puerto actual, un pequeño fuerte en las rocas para vigilancia del mar por este flanco. Se trataba de un pequeño fuerte circular, abovedado, artillado y que solo se comunicaba con tierra durante la bajamar.
Después de la retirada de las tropas la Atalaia (atalaya), como así se conoció, fue empleada por los habitantes para el mismo fin en los años siguientes y posteriormente se utilizó como faro hasta que en el año 1943 se manda su demolición por las obras de ampliación del puerto. En el año 1997-98, los alumnos de la Escola Taller la reconstruye muy cerca de su ubicación original y en él se aloja el Museo do Mar que contiene una muestra etnográfica relacionada con el mundo de la pesca y una colección de conchas, corales, algas y otras especies marinas.
