In 1626 gaf de graaf van Tonnerre een groep nonnen toestemming om een gemeenschap te vormen: de Ursulinen. Ze kochten een groot terrein in het hart van de stad. Begin 1790 werd de gemeenschap opgeheven en werd het gebouw achtereenvolgens gebruikt als ontmoetingsplaats voor de Democratische Club, het hoofdkwartier van het districtsbestuur, een salpeterfabriek, een graanschuur en een college. In de 19e eeuw werd het uitsluitend als college gebruikt totdat het werd verplaatst naar de linkeroever van de Armançon.