La plaza de la Hora es un gran espacio cuadrado de 150 metros por cada lado, donde al norte encontramos la magnífica fachada del Palacio Ducal y al sur podemos asomarnos al valle verde de las huertas.
Fue diseñada dentro de un conjunto palacial como plaza de armas por el gran arquitecto Alonso de Covarrubias en 1541, a petición de Ana de la Cerda, la abuela de la princesa de ES boli. Cuando su yerno, Ruy Gómez de Silva, tomó posesión de la villa, mandó construir soportales de piedra en los dos lados enfrentados para transformarla en plaza del mercado. Los moriscos traídos a Pastrana en 1570 por el príncipe de Éboli eran maestros en horticultura y consiguieron acondicionar el terreno al sur de la plaza para crear huertas e introducir frutales.

Más adelante, la plaza fue lugar de espectáculos públicos, incluso para corridas de toros; se añadió el gran balcón al palacio para disfrutar de ellos. Hoy en día es el centro neurálgico de la villa, su plaza mayor, aunque no se llame así. Debe su nombre a una historia curiosa:

La Princesa de Éboli fue encarcelada en su palacio durante años por orden de Felipe II. La leyenda dice que en los últimos dos años de su vida estaba confinada en su habitación y sólo le permitían salir una hora al día a la reja-balcón para tomar el sol.