Edificado sobre un antiguo e importante castro romano, perteneneció a lo largo de la Edad Media a la mitra mindoniense. Fue entregada en propiedad al Mariscal Pedro Pardo de Cela, como dote de su boda con Isabel de Castro, sobrina del obispo Pedro Enrique de Castro.
Cuando en diciembre del año 1483 Pedro Pardo de Cela fue decapitado por mandato de los Reyes Católicos, vuelve al poder de la mitra mindoniense, la cual, regida por el obispo Diego de Soto, entre los años 1546 y 1549, hace reformas.

Cuando en diciembre del año 1483 Pedro Pardo de Cela fue decapitado por mandato de los Reyes Católicos, vuelve al poder de la mitra mindoniense, la cual, regida por el obispo Diego de Soto, entre los años 1546 y 1549, hace reformas.