Fue fundado en 1640 por Gaspar de Guzmán y Pimentel, III conde-duque de Olivares, valido del rey Felipe IV. La obra fue terminada por su sobrino, Luis de Haro y Guzmán, marqués del Carpio y iv conde-duque de Olivares y, más tarde, se convertiría en una de las iglesias más ricas en obras pictóricas de España, con objetos dados al conde-duque de Olivares por parte del rey Felipe IV. También familiares de las Madres Dominicas donaron muchas otras obras. La colección de arte tenía obras de Alonso Cano, Rubens, Bassano, Tintoretto, Veronés y Miguel Ángel, entre otros.

En 1809 la colección fue saqueada por el general Horace Sebastiani de la Porta durante la invasión francesa y muchas de estas obras fueron llevadas a Francia, donde hoy pueden ser vistas en museos como el Louvre. Otras pinturas se ubican hoy en otros museos como Galería Nacional de Londres o en el Museo Ringling en Florida.

Actualmente el monasterio es patronazgo de la Casa de Alba, actuales condes-duques de Olivares.

Panteón familiar de la Casa de Alba
En 1909 Jacobo Fitz-James Stuart y Falcó, xvii duque de Alba de Tormes y xiii conde-duque de Olivares, fundó un panteón agregando una capilla al monasterio para la Casa de Alba, que fue obra de Juan Bautista Lázaro inspirado en el de El Escorial.

En el mausoleo descansan principalmente los restos de los jefes de la Casa de Alba, a partir de Jacobo Fitz-James Stuart y Ventimiglia, xv duque de Alba de Tormes.

Destaca en dicho panteón el mausoleo de María Francisca de Sales Portocarrero, hermana de Eugenia de Montijo y emperatriz de Francia, obra de Charles-Alphonse-Achille Gumery.