El Castillo de Castro de Oro, verdadero emblema del Ayuntamiento de Alfoz, tuvo su origen en un asentamiento castreño de comienzos del siglo primero después de Cristo. De esta construcción, solo conservamos las estructuras exteriores de la torre del homenaje de la primitiva fortaleza, ya que alrededor del siglo IX una familia de la meseta, apoyada por la monarquía asturiana, funda el monasterio familiar en el siglo XI bajo poderlo de la diócesis de San Martiño de Mondoñedo quien lo fortifica. En el 1220 el Rei Alfonso IX le concede el título de villa y todo un alfoz al Castro de Oro y aproximadamente en esta época, la infraestructura del monasterio militarízase. En el siglo XV es ocupado por el Mariscal Pardo de Cela, quien lo pierde trala su muerte pasando a ser propiedad de la diócesis mindoniense quien lo reconstruye después de que los Reyes Católicos habían decidido su destrucción, convirtiéndolo en residencia episcopal hasta el siglo XVII en el que fue abandonado. La finales del siglo XIX fue usucapido por el Ayuntamiento de Alfoz de Castro de Oro quien decidió arreglarlo a comienzos del siglo pasado, destinándolo hasta el año 1990 la Casa Consistorial y se del Juzgado Municipal.

En 1949 y en virtud del Decreto de 22 de abril obtuvo la protección legal y en el 1994 fue inscrito en el registro de Bienes de Interés Cultural y adquirió, de esta forma, la mayor de las protecciones legales posibles para un monumento.

En la actualidad él Castelo acoge varias dependencias municipales que contribuyen a su puesta en valor: punto de información turística, sala de exposición y sala museo.