A Illa da Toxa o de Louxo fue famosa por sus aguas medicinales y termales desde tiempos inmemoriales. A pesar de estar rodeada de agua salada por todos los lados, ya que es una isla, de sus tierras emanan aguas dulces con unas propiedades inigualables.
Los pueblos indígenas prerromanos ya conocían las propiedades de sus fangos y ya la denominaban con un derivado de un pseudónimo preindoeuropeo que desembocó en «A Toxa» (lugar fangoso). Cuenta la leyenda que un vecino tenía una burro al que quería mucho pero este se encontraba muy enfermo y por no sacrificarlo lo llevó a la isla y lo abandonó a su suerte. Pero el vecino volvió un tiempo después y lejos de encontrar el cadáver del querido burro, encontró un animal saludable y retozándose en el lodo milagroso.
Así fue como se descubrieron, según la leyenda, los manantiales saludables de A Illa da Toxa. En castellano se emplea «la Toja», topónimo que hoy da nombre a una marca de cosméticos cuyo origen fue en la propia isla. Sin embargo no fue hasta el siglo XIX cuando se comenzó a valorar las verdaderas propiedades de esos lodos. Para ello se construyó en este siglo el puente que vemos actualmente y la isla pasó de ser una finca para pasto para el ganado a un gran complejo privado de lujo; urbanizaciones, golf, centro comercial, balnearios, pistas de tenis, tiro, casinos, etc …
Sin embargo, la isla no destaca precisamente por su paisajismo natural, sino por ser centro termal y de lujo. Si lo que queremos es ver la verdadera belleza de O Grove, deberemos conocer mejor sus hermosas playas de arena fina, sus pueblos marineros con rincones sin igual, sus miradores desde los que se ve media costa gallega, sus hermosos paseos junto al mar y las rocas, su preciada gastronomía popular, sus grandes fiestas y romerías… en fin, cosas que diíficilmente encontraremos dentro de la isla.
Ya en el siglo XII existía una ermita en la isla a la que sólo se accedía por barca. Siglos después la iglesia fue modificada, agrandada y recubierta completamente con conchas de vieiras, creando un templo único y característico en Galicia, aunque no es la única fachada en Galicia cubierta de esta forma, ya que la vieira constituía un fenomenal aislante de la humedad marina y por ello era empleado a menudo en las casas más próximas al mar.
En la Ermita da Toxa se guarda devoción a la Virgen el Carmen, patrona de los marineros, y también a santo Caralampio. La actual ermita data del siglo XIX y se le denominó Ermita de San Sebastián. La ermita es conocida vulgarmente como la Capilla de las Conchas.