El denominado Castillo de los Moscoso se encuentra en la misma villa de Vimianzo, dominando gran parte del valle de la misma localidad. También se le conoce como Castillo de Vimianzo y Torres de los Martelo. Esta fortaleza es un claro ejemplo de conservación de edificaciones históricas que gracias a diversos organismos se mantiene actualmente en un estado de conservación excelente.
De planta octogonal, el castillo de Vimianzo presenta cuatro torres y un patio de armas. Se conservan varias dependencias que servían para albergue de la guarnición y de la servidumbre. Un gran foso rodea todo el castillo. En sus orígenes pertenecía a una de las familias más poderosas de la región: los Traba. Posteriormente, en siglo XIV, una rama familiar llamada los Moscoso, hizo de este castillo su bastión.
No se puede concretar la fecha de la construcción, pero por sus características constructivas, lo más seguro es que date del siglo XIII. Se cree que la construcción primitiva pudo ser construida por los Mariño Lobeira. Dado que el castillo sufrió importantísimas transformaciones durante los siglos, de esta construcción original no queda casi nada. De todas formas en el patio de armas se puede apreciar los restos de una antigua torre y de un horno de pan.
Aquí, en el siglo XV, estuvo encarcelado el mismo obispo de Santiago, Alonso II de Fonseca. Durante las guerras irmandiñas, en el año 1467, el castillo de Vimianzo, como muchas otras fortalezas gallegas, fue derribada, para después volver a ser reedificada por y para el mismo obispo que estuvo en sus calabozos. De todas formas, poco después, los Moscoso, lograron recuperar el castillo.
También el mismo Pedro Madruga utilizó la fortaleza para encarcelar a otro obispo, el de Tui, llamado Diego de Muros. Hasta el siglo XIX el castillo fue cabeza de jurisdicción de una gran tierra, que abarcaba las comarcas de Soneira, Bergantiños y la Costa da Morte. En este siglo fueron suprimidas las leyes feudales y sus propietarios, que seguían siendo los Moscoso, lo vendieron a la familia Martelo, quién acometieron labores de reconstrucción, pues su estado era lamentable. Después fue la mitra compostelana quién lo poseyó, hasta que fue adquirido por la Diputación y convertido en museo de las tierras de Soneira.
Muy cerca del castillo de Vimianzo, en la carretera de Camariñas, se encuentra el hermoso Pazo de Trasariz, donde destacan los arcos de medio punto del patio. Además tiene capilla propia y unos bonitos jardines. Es del siglo XVII y es de estilo barroco.
En el año 1949, la fortaleza de Vimianzo, fue protegida como monumento histórico-artístico. Hoy en día alberga un museo sobre artesanía popular de las tierras de Soneira. Digno de agradecer es que está abierto prácticamente todo el año y puede ser visitado gratuitamente.
Con la fortaleza de Vimianzo como escenario se celebra todos los años una gran fiesta en recuerdo a la revuelta Irmandiña.
