El Castillo de Castrodouro está edificado sobre un antiguo e importante castro romano, perteneció a lo largo de la Edad Media a la mitra mindoniense. Fue entregada en propiedad al Mariscal Pedro Pardo de Cela, como dote de su boda con Isabel de Castro, sobrina del obispo Pedro Enrique de Castro.
Cuando en diciembre del año 1483 Pedro Pardo de Cela fue decapitado por mandato de los Reyes Católicos, vuelve al poder de la mitra mindoniense, la cual, regida por el obispo Diego de Soto, entre los años 1546 y 1549, hace reformas. El padre Flórez así lo expresa:

«La fortaleza de castro de Oro estaba muy obscura, sin ventanas, por lo que era húmeda y enferma. Rompió las Murallas por tres partes, y abrió buenas ventanas, que dan vista y alegría a la casa: y ya tenía comprado el hierro para asegurarlas con unas rejas fuertes.»

A tenor de estas palabras podemos presuponer que esta fortaleza no fue derruida por los Reyes Católicos —en su política de ahogar económicamente a la familia de los Pardo de Cela— ya que simplemente necesitó una reforma. Si hubiese sido destruida en 1483, aprovecharían para reconstruirla, como tiene ocurrido en muchos otros castillos.

Os recomendamos que después de hacer una visita a este magnifico castillo se acerquen tanto por el conjunto etnográfico Finca Galea  que es un espacio natural en la que se encuentran varias construcciones tradicionales tipo pazo y un amplio espacio que en otro tiempo tuvo un uso agrícola como por  la casa rural Os Tres Teixos en dónde podréis descansar plácidamente y desde la cual se pueden visitar fácilmente todos los puntos turísticos más importantes de la zona .