Nos encontramos ante el principal emblema del Concello de Alfoz. En el lugar donde hoy ocupan los restos de la fortaleza del mariscal Pardo de Cela o Torre de Castro de Ouro había hacia el siglo primero después de Cristo un asentamiento castreño. Un lugar estratégico situado en el margen derecho del río Ouro al lado de la aldea llamada O Castro, en relación con el antiguo poblado.
En el siglo IX una familia de la Meseta funda un monasterio particular sobre los restos del asentamiento y dos siglos después pasa a formar parte de la diócesis de San Martiño de Mondoñedo quién la fortifica. Hacia el siglo XIII el monasterio es totalmente un edificio de carácter totalmente militar.
En el siglo XV es ocupado por el mariscal Pardo de Cela, uno de los miembros de la nobleza con más poder en Galicia, cuya oposición a los Reyes Católicos le costó la vida. Fue condenado a muerte por el primer gobernador de Galicia, y aunque obtuvo el indulto real fue decapitado, debido a que sus enemigos pudieron detener en un puente cerca de Mondoñedo a los portadores del Perdón, mientras se ejecutaba la orden de decapitación.
Desde entonces este puente recibe el nombre de el Puente del Pasatiempo. Esta historia dio lugar a muchas leyendas y canciones populares. Las revueltas irmandiñas se encargaron de destruir el castillo en el siglo XV. El obispo de Mondoñedo reconstruye poco después la fortaleza, conviertiéndola en residencia episcopal hasta el siglo XVII, siglo en el que fue abandonado. En estado de ruina quedó hasta principios del siglo XX, ya que el concello restauró el único resto que prácticamente se mantenía en pie: la torre del homenaje.
Su reconstrucción no fue muy exacta, ya que se abrieron nuevas ventanas que presentan claras diferencias con las originales, aún así es preferible esta restauración antes que la pérdida total del conjunto. Hasta el año 1990 ocupó su interior la Casa Consistorial y el Juzgado Municipal. Hoy en día acoge un punto de información turística y es sala de exposiciones y salón multiusos.
El 22 de Abril de 1949 fue protegido bajo la Ley 16/1985 sobre el Patrimonio Histórico Español.
