En la histórica villa de Pontedeume, en la plaza de los Condes, se encuentra lo que queda del Palacio de los Condes de Andrade, perteneciente al siglo XIV, concretamente entre los años 1370 y 1380. Aunque en 1924 el torreón de los Andrade fue declarado monumento histórico-artístico once años más tarde fue derribado dejando tan sólo la torre de homenaje, que es lo que ha llegado hasta nuestros días.
Años antes, en 1909 también fue demolida la capilla de San Miguel. Junto a la torre se encontraba también el Palacio de los Andrade el cual fue derribado también en la mitad del siglo XX.
El torreón de los Andrade es de planta cuadrada, con gruesos muros de 2 metros y una altura de 18 metros. En el muro sur se sitúa un escudo con 18 banderas ganadas a los franceses en la Batalla de Seminara en 1503, seis roeles de los Castro de Lemos y la Barra de los Andrade. Su emplazamiento original era el Palacio. La torre constaba de planta baja y tres pisos. De la segunda arrancaba un puente levadizo hoy desaparecido. Destaca también una cruz de cinco puntas o Sello de Salomón que se sitúa por encima de una de las ventanas.
Hoy sólo se conserva la torre del homenaje que se levanta 20 metros y restos de la muralla que rodeaba el patio de armas. La planta de la torre es rectangular y está formada por gruesos muros de sillería granítica. Un curioso relieve de un «gaiteiro» se presenta en el dintel de una de las ventanas, aunque hay quién defiende que la figura pudiera ser un guerrero. La antigua fortaleza constaba de torres circulares unidos por gruesos muros.
En el parque donde se encuentra la torre encontramos uno de los árboles considerados como «senlleiros», conocido como el Metrosidero o Árbol de Hierro.
El Museo Provincial de Lugo alberga dos antiguos candados que servían para encadenar a los presos en la vieja cárcel de la fortaleza.
En 1994 fue catalogado Bien de Interés Cultural.
