En el año 911, el obispo Sisnando mandó construir un monasterio benedictino en lo alto del Pico Sacro que se conocería como de San Sebastián. Es posible que se levantara sobre restos de antiguos emplazamientos defensivos abandonados y que para ello se aprovechara la piedra. Sin embargo las condiciones de habitabilidad que ofrecía el monte y las continuos saqueos que a buen seguro se sucedían en este alto tan estratégico, propició que los monjes se trasladaran más abajo, a un lugar conocido como San Lourenzo da Granxa, donde hoy existe una ermita consagrada a mismo santo. En el siglo XI se construyó la capilla de Santiago la cual desapareció tras la construcción de la futura fortaleza.
En el siglo XV se construye la Fortaleza de Montesagro que hace que la ermita pase a formar parte del castillo como despensa. Abandonado el castillo se conserva la capilla que tras varias remodelaciones llegaría hasta nuestros días conocida con el nombre de San Sebastián.Dos de las últimas remodelaciones fueron realizadas en el siglo XX, concretamente en los años 1957 y 1973. Se trata de una capilla de planta rectangular con cubrición de dos aguas que conserva varios motivos decorativos de su aspecto románico anterior. Está revestida de color blanco que caracteriza a la montaña del Pico Sacro.
Alrededor de esta capilla se celebran dos grandes romerías, el 20 de Enero y el último domingo de Mayo.
