El Castillo de los Condes de Sarmiento se asienta en un pequeño promontorio a orillas del río Avia y en las proximidades de las confluencias de este y el gran río Miño, en la villa monumental de Ribadavia. Los orígenes de esta villa habría que buscarlos en un antiguo poblado prerromano que se situaba en donde hoy se emplaza la fortaleza. Era por lo tanto un punto estratégico para dominar parte de la comarca. Hasta el siglo XV ocupaba el lugar la famosa capilla prerrománica de San Xés de Francelos, que fue llevada a las proximidades de la villa.
También existía una casa-torre donde desde 1375 habitaba D. Pedro Ruiz Sarmiento, a quien Enrique II otorgó el Señorío de Ribadavia. Durante este siglo el castillo fue levantado y fue terminado en el siguiente siglo, siendo interrumpida su construcción en varias ocasiones debido por ejemplo al asedio de Ribadavia cometido por el Duque de Lancaster en el año 1385. En el siglo XVII el castillo fue abandonado ya que los Condes de Ribadavia fijaron su residencia en el palacio que después heredaría su nombre, (Palacio de los Condes), situado en la plaza mayor.
El castillo fue levantado sobre roca, como muchas otras fortalezas del medievo. Aún así su carácter no era meramente defensivo, pues sus características hacían relativamente fácil su asedio. La forma es poligonal y aún se conserva el muro que lo dividía en dos partes. El acceso al recinto se realiza por debajo de una arco apuntado que comunica con el patio de armas. En esta puerta se encuentran los escudos d los Fajardo y de los Sarmientos. El pavimento y las divisiones interiores han desaparecido dejando a descubierto la necrópolis medieval de la parroquia de San Xés, donde las excavaciones han permitido sacar a la luz una docena de sepulcros antropoides labrados en la roca. La cronología de estos enterramientos datan entre los siglos IX y XII.
En su día existió posiblemente una torre del homenaje. Hoy en día sólo nos quedan los restos de un torreón almenado y rectangular así como diversos cubos de la muralla cuadrados y circulares. También se conserva el camino que rodea a las gruesas murallas y el recinto conserva tres de sus cinco puertas originales: La de la Cerca (principal), la Puerta Nueva y la Puerta Falsa.
Aunque el castillo se encuentra en un estado bastante deteriorado, en el año 2007 fue objeto de una ligera intervención. Durante estos trabajos del 2007 fueron descubiertos una escalinata, un aljibe y un pozo artesanal. (Noticia en Arqueologiamedieval.com)
El recinto hoy alberga un moderno auditorio donde se celebra la «Mostra Internacional de Teatro». El último sábado de agosto se celebra la famosa fiesta medieval llamada Festa da Istoria. Muy cerca podremos deleitarnos con la espectacular iglesia de Santo Domingo y el barrio judío de Ribadavia. Es de visita obligada también la capilla prerrománica de San Xés.
