Tiene una completa historia documentada desde principios del s. XVI, y perteneció, indistintamente, al Cabildo eclesiástico, a las familias Téllez y Girón, al Colegio de Lugo y a los condes de Puebla, entre otros. Es el edificio civil más antiguo de Ayllón. Utilizado en su día como cárcel, también fue cuartel de la Guardia Civil y acabó siendo adquirido posteriormente por Caja Segovia (hoy Bankia). Ubicado frente a la iglesia de San Miguel.