El castillo de Pedraza fue construido en el s. XIII sobre los restos de fortificaciones anteriores, de origen romano y árabe. Fue reedificado en el s. XV por la familia de los Herrera, época de la que data la torre del homenaje.

En el s. XVI el castillo pertenecerá a los Fernández de Velasco, duques de Frías y Condestables de Castilla, quienes lo reformarán otorgando a la fortaleza el aspecto y estructura que conserva en nuestros días.

En el año 1926 el pintor Ignacio Zuloaga compró el castillo es un estado ruinoso y tras arreglar una de sus torres montó en ella su taller. Fueron sus herederos quienes rehabilitaron una segunda torre instalando en ella el Museo Ignacio Zuloaga, en él pueden contemplarse obras del artista así junto bodegones flamencos del s. XVII, un Cristo de El Greco e incluso un cuadro de Goya en el que retrata a la condesa de Baena.