Fue mandado construir por el Adelantado de Murcia, Pedro Fajardo y Chacón, tras su nombramiento como Marqués de los Vélez concedido por los Reyes Católicos.
Cuando Pedro Fajardo se instaló en Vélez-Blanco, fijó allí la sede de su nuevo señorío y emprendió la construcción de su castillo-palacio sobre los restos de una antigua e importante alcazaba islámica que se levantaba en el cerro que domina la villa. En esos momentos existía una prohibición real de construir nuevas fortalezas para evitar la acumulación masiva de poder por parte de la nobleza, que podría debilitar a la monarquía.

De Raul – Parque natural de Sierra María-Los Vélez, CC BY 2.0, https://commons.wikimedia.org/w/index.php?curid=40359616