Im 11. Jahrhundert erhielt das Hôtel-Dieu Notre-Dame, eine bescheidene Unterkunft für Pilger auf dem Jakobsweg, eine kleine Kapelle, die Maria geweiht war. Im Laufe der Jahrhunderte vergrößerte sich das Oratorium und gewann an Bedeutung; es wurde zum Pfarrhaus, zur Pfarrei und schließlich zum Dekanat. Im 16. und 17. Jahrhundert erhielt das Bauwerk sein heutiges Aussehen mit einem hohen Turm, auf dem die Inschriften "Jesus Maria Ave Gacia" und die Initialen "CHC" für Charles-Henri de Clermont, Graf von Tonnerre, zu lesen sind. Diese verschiedenen architektonischen Veränderungen gingen jedoch nicht ohne Schwierigkeiten vor sich: 1359 steckten englische Truppen die Kirche in Brand, ebenso wie burgundische Truppen 1414. Im Jahr 1556 brannte die Kirche erneut nieder (die Basis des Turms ist noch immer schwarz vom Ruß) und die Bombardierung im Jahr 1944 zerstörte das Dach und die Gewölbe.