En la Terra de Quiroga, por la carretera (N-120) que une la villa de Quiroga con O Barco, en su km 487, se localiza muy próxima a la villa San Martiño (Quiroga), un montículo de 395 m llamado Monte do Castelo. Sobre él permanecen los restos de una fortaleza bajo medieval, cuyos orígenes se remontan al siglo X.
El castillo de Torrenovaes aprovecha las laderas empinadas de este monte en su confluencia con el valle del río do Castillo da Eiras, valle que fue «cerrado» por las obras de destierro de la carretera nacional. También una ladera del monte fue «cortada» para el paso de la carretera, dejando las murallas del castillo al borde del precipicio.
Aún así, se puede apreciar su emplazamiento como era hace muchos siglos. Emplazamiento desde el cual se dominaba una gran extensión del valle del Sil y de parte de As Terras de Quiroga. Desde aquí se divisa el meandro que hoy en día forma parte del embalse de la central hidroeléctrica de Sequeiros. Además se localizaba al borde del Camino Real que conducía hasta San Salvador de Hospital.
Se accede a él por una rampa de pizarra que nos conduce a la entrada de la fortaleza, después de pasar entre varias viviendas de un origen remoto que se edificaron junto a los pies del castillo, que conservan unas características propias de hace siglos. Pronto la magia del lugar nos transportará a los tiempos de la Orden de Malta, sobre todo cuando veamos la cruz que se sitúa a la entrada de la fortaleza.
El edificio consta de dos cuerpos independientes bien diferenciados: La torre, del siglo X, es la más antigua, pudiéndose levantar sobre las ruinas de un antiguo emplazamiento suevo o quizás castrexo. Sus muros, de casi cuatro metros de espesor nos dan una idea de su carácter defensivo. Su planta es cuadrada y cara al sur presenta una puerta con bóveda de medio punto de «pedra cabaleira» de un color rubio intenso que denota un alto nivel de oxidación de hierro que contiene este tipo de piedra.
El otro edificio es el palacio, que data de un siglo más tarde (s. XI). Es de planta trapezoidal y fue construido por los Caballeros de San Juan de Malta, una orden de monjes guerreros que procuraban la vigilancia de los peregrinos. En su entrada, también formada por un arco de medio punto, se puede apreciar aún hoy la Cruz de Malta que se encuentra grabada sobre una piedra. Aunque solitario y mal señalizado, no debemos perdernos esta joya de fortificación. Al borde del precipicio podemos observar los restos de la antigua muralla que circundaba al castillo. También disfrutaremos de una buena panorámica del Sil y su valle en Terras de Quiroga. Desde aquí comienza también una ruta conocida como Ruta da Encomenda.