Un lieu de pèlerinage marial (XIIIe s.)
Au fil du temps, le souvenir de l’ermite semble s’être progressivement estompé, de sorte que la chapelle près de laquelle elle fut inhumée devint un lieu d'un pèlerinage marial. Il fut placé sous le patronage de la Nativité de la Sainte Vierge, fête qui est célébrée dans le calendrier liturgique de l’Église, le 8 septembre de chaque année. La chapelle prit alors le nom de « Sainte-Marie-de-l'Herm »


Il faut cependant attendre le début du XIIIe s. pour entrer en possession de quelques documents sûrs qui attestent l’existence d’une chapelle en ce lieu. En l’an 1200, Jourdain de l’Isle, seigneur du pays, fit un legs à la chapelle. On a également retrouvé la pierre tombale de Raymond d’Autezac qui en fut le chapelain : elle porte la date de 1262.
Considérée comme une annexe de la paroisse de Bellegarde, la chapelle sera détruite au cours de la période de la Révolution ainsi que l’atteste un procès-verbal du 16 Juin 1796.