En 1626, le comte de Tonnerre autorise des religieuses à se regrouper en une communauté : celle des Ursulines. Elles acquièrent une vaste portion de terrain en plein cœur de la cité. Au début de l’année 1790, la communauté est dissoute et le bâtiment sert tour à tour de lieu de rassemblement du club des démocrates, de siège à l’administration du District, d’usine à salpêtre, de grenier et de collège. Au cours du XIXe siècle, c’est cette dernière fonction qu’il occupe exclusivement, jusqu’à sa délocalisation sur la rive gauche de l’Armançon.