En 1513, François Michart, maréchal-ferrant, propose la construction d'une chapelle dédiée à Notre-Dame, sur la place du Paradis. La première pierre est posée en 1514, et l'édifice, bien que toujours en construction, est consacré le 19 juin 1524 par Mgr Geoffroy Le Borgne, agissant pour le cardinal Lorenzo Pucci, évêque de Vannes. À partir de 1590, la chapelle devient une église paroissiale.
Cet édifice, caractéristique du style gothique flamboyant, se distingue par l'audace de son porche et la richesse de ses ornements. Classée monument historique en 1862, son environnement est également protégé depuis un arrêté du 10 août 1939. Elle obtient le titre de basilique mineure le 17 janvier 1913, sur décision du pape Pie X. Le 6 août 1944, malgré de violents bombardements qui détruisent une grande partie de la ville, l'église échappe miraculeusement aux destructions.