C’est au cours du XVIIe siècle que cette « rue du collège » est rebaptisée « rue de l’ancien collège » du fait de la délocalisation de l’établissement d’enseignement dans le couvent des Ursulines. Mais jusque là, et depuis des temps fort reculés, les enfants de la ville se rendaient dans le quartier du Perron pour y recevoir l’instruction. Le collège, vraisemblablement créé autours de 1580, était installé dans la tour dite des anglais et une maison contiguë.