El Castillo de Olmillos de Sasamón es la joya más importante de la localidad. Se trataba de un palacio de recreo o vacacional y no de una construcción defensiva. Construido a petición de Pedro de Cartagena en 1446, la flor de lis (símbolo de los Cartagena) se puede encontrar labrado en diferentes partes del castillo. Fue incendiado el 22 de julio de 1812, durante la Guerra de la Independencia, después de que las tropas francesas abandonaran el pueblo, por el guerrillero Santos Padilla, junto con la iglesia de Sasamón. El guerrillero acusaba a las autoridades locales de apoyar la invasión francesa. Actualmente, el castillo es de propiedad privada, se encuentra completamente reformado, y a finales del año 2005 abrió sus puertas como Parador de 4 estrellas, con nombre Señorío de Olmillos.