In de 11e eeuw had het Hôtel-Dieu Notre-Dame, een bescheiden herberg voor pelgrims op de pelgrimsroute naar Santiago de Compostela, een kleine kapel gewijd aan Maria. Door de eeuwen heen groeide het oratorium in omvang en belang en werd het een parochie en vervolgens een dekenaat. In de 16e en 17e eeuw kreeg het monument het uiterlijk dat we nu kennen, met zijn hoge toren met daarop de inscripties "Jesus Maria Ave Gacia" en de initialen "CHC" voor Charles-Henri de Clermont, graaf van Tonnerre. Deze verschillende architectonische transformaties verliepen echter niet zonder problemen: in 1359 staken Engelse troepen de kerk in brand, net als Bourgondische troepen in 1414. In 1556 werd de kerk opnieuw door een grote brand verwoest (de voet van de toren is nog steeds zwart van het roet) en het bombardement van 1944 verwoestte het dak en de gewelven.