A mediados del siglo XV la «Casa de Alba» pasó a ser la dueña de la villa de Granadilla. El primer Duque de Alba, don García Álvarez de Toledo, tomó la iniciativa de construir el castillo hacia los años setenta de este siglo, junto a la muralla, con una parte fuera de ella y, posiblemente, sobre los cimientos de alguna fortificación musulmana. A través del historiador Cooper se sabe que el cantero Juan Salado intervino en la construcción del castillo y que recibió por ello varios pagos entre 1473 y 1478.

Llama la atención su esbeltez, la perfecta simetría de formas y la fábrica de sillería tan cuidada con la que se construyó. Tiene forma prismática de sección cuadrangulár a la que se le añade en cada uno de sus lados un donjon semicilíndrico a modo de torre adosada. De esta forma resulta que su planta es «polilobulada», es decir, tiene cuatro lóbulos de los cuatro donjones y cuatro salientes en esquina de su planta cuadrangular. Tiene una barbacana en la parte interior del castillo, cosa que ha extrañado a historiadores y estrategas militares, ya que donde hacía más falta la barbacana para una mejor defensa era en el exterior, como ocurre en el Castillo de Coria, también en Cáceres. Todo el perímetro superior está recorrido por un almenaje con merlones apuntados rematados por pequeñas bolas y con troneras en el antepecho. Todo lo anterior está estructuralmente soportado por ménsulas o voladizos que están unidas por dinteles que llevan labrados dos pequeños arcos formando una figura bilobulada entre dos ménsulas consecutivas. El constructor le ha añadido a la estructura defensiva una nota plástica poco frecuente en estos casos. En el interior, las distintas estancias están cubiertas por bóvedas de cañón. En el centro del castillo se levanta un cuerpo retranquedo a modo de «torre caballera». Los artífices de la obra fueron De Troya, Juan Carrera y Tomás Bretón.