En 1626, el conde de Tonnerre autoriza a un grupo de monjas a formar una comunidad: las Ursulinas. Adquieren un gran terreno en pleno centro de la ciudad. A principios de 1790, la comunidad se disolvió y el edificio se utilizó sucesivamente como lugar de reunión del Club Democrático, sede de la Administración del Distrito, fábrica de salitre, granero y colegio. Durante el siglo XIX, se utilizó exclusivamente como colegio hasta su traslado a la orilla izquierda del Armançon.