Este palacio, construido en el s. XVI y reformado en profundidad en 1804, fue arrasado por un incendio en 1945, del que sólo se salvó la fachada. En su pared frontal, tanto a derecha como a izquierda, pueden verse los escudos de los marqueses de Villena. Al parecer, éste fue el primer palacio que los marqueses tuvieron en la Villa, antes de que decidieran cederlo al Consejo de Ayllón en el año 1620.