Fue construido en el siglo XV por la familia Vivero —nobles de origen gallego— como residencia señorial siguiendo el modelo de castillo llamado escuela de Valladolid. Se inició en 1452, por encargo de D. Alonso Pérez de Vivero, secretario y contador mayor del rey Juan II, quien había ido comprando las tierras de los abades de Valladolid y Matallana en la localidad; su muerte prematura hizo que fuese concluido por su nieto Alonso de Vivero,​ segundo vizconde de Altamira y protector del matrimonio secreto de los Reyes Católicos, celebrado en su Palacio de Valladolid, y que pasaron su luna de miel en este castillo.

Concebido como residencia y no como fortaleza militar, nunca contó con una gran guarnición.​ Fue tomado por los comuneros con facilidad. Antes de ser abandonado como castillo palaciego, apenas contaba con una guarnición de seis soldados.
Es visitable en grupos. El acceso es libre, el interior restringido y previa solicitud.