Fue construido en la época de Fernán Pérez de Andrade, entre el 1370 y 1380 formando parte del conjunto integrado por un palacio (pazo) -en el lugar que actualmente ocupa el Mercado-, la capilla de San Miguel -derribada en 1909- y el propio torreón.
En el torreón se recogen los blasones de las familias de Andrade y Lemos -unidas en el siglo XVII- y está orlado por las 18 banderas que Fernando de Andrade ganó a los franceses en la Batalla de Seminara. En la parte superior hay una corona condal y sobre ella un ángel sostiene una filacteria y en la que se lee el lema de los Andrade: «nolite nocere» (no hagáis daño).