Nell'XI secolo, l'Hôtel-Dieu Notre-Dame, un modesto ostello per i pellegrini che percorrevano il cammino di Santiago de Compostela, aveva una piccola cappella dedicata a Maria. Nel corso dei secoli, l'oratorio crebbe in dimensioni e importanza, diventando una parrocchia e poi un decanato. È nel XVI e XVII secolo che il monumento assunse l'aspetto che conosciamo oggi, con la sua alta torre sormontata dalle iscrizioni "Jesus Maria Ave Gacia" e dalle iniziali "CHC" per Charles-Henri de Clermont, conte di Tonnerre. Tuttavia, queste varie trasformazioni architettoniche non furono prive di problemi: nel 1359 le truppe inglesi incendiarono la chiesa, così come le truppe borgognone nel 1414. Nel 1556 un grande incendio divorò nuovamente la chiesa (la base della torre è ancora nera di fuliggine) e i bombardamenti del 1944 distrussero il tetto e le volte.