El Camino primitivo de Santiago discurre por Castroverde desde tiempos inmemoriales. En este lugar del Camino nos encontramos con los restos de un castillo de Castroverde.
Se levantó en el conocido como Alto do Castillo (617 m) sobre las ruinas de un antiguo emplazamiento castrexo, poblado que seguramente dio lugar al topónimo de Castroverde.
La primitiva fortaleza de Castroverde es del siglo XIV, y perteneció a D. Álvaro Pérez Osorio Duque de Aguiar y Conde de Villalobos por donación de Enrique II. Un siglo más tarde D. Sancho Sánchez de Ulloa, conde de Monterrei, se apoderó del castillo que a su muerte hereda doña Isabel de Castro, prima de D. Sancho. Ya en el siglo XVI, D. Lope Osorio de Moscoso de la casa de Altamira compró el castillo, la villa y las tierras.
Hoy sólo se conserva la torre del homenaje que se levanta 20 m y restos de la muralla que rodeaba el patio de armas. La planta de la torre es rectangular y está formada por gruesos muros de sillería granítica. Un curioso relieve de un «gaiteiro» se presenta en el dintel de una de las ventanas, aunque hay quién defiende que la figura pudiera ser un guerrero. La antigua fortaleza constaba de torres circulares unidos por gruesos muros.
El Museo Provincial de Lugo alberga dos antiguos candados que servían para encadenar a los presos en la vieja cárcel de la fortaleza.
Hoy en día el castillo está en manos privadas y en estado de semi abandono. En 1994 el castillo de Castroverde fue catalogado Bien de Interés Cultural.
