Tras depender de los Rodríguez de Valcárcel, la fortaleza de Balboa pasó a manos de los Álvarez Osorio en el siglo XV, tras el matrimonio del adelantado mayor del Reino de León, Pedro Álvarez Osorio el Bueno, con Constantina de Valcárcel, hija del último García Rodríguez de Valcárcel. El nieto de estos, también llamado Pedro Álvarez Osorio, señor de Cabrera y Ribera de León, recibió del rey Enrique IV en 1456 el título de conde de Lemos, que quedó ligado a Balboa hasta que, ya en el siglo XVI, la fortaleza pasó a depender de los marqueses de Villafranca.