Le site où s’est implanté notre monastère fut d’abord le lieu où, au seuil du XIIes, une jeune femme de la région se retira pour y mener une vie d’ermite. Au fil du temps, il devint pour la population locale, un lieu de pèlerinage marial placé sur le patronage de « sainte Marie de l’Herm », à cause de l’isolement géographique du lieu (un « désert », selon l’étymologie).
Considérée comme une annexe de la paroisse de Bellegarde sainte Marie, la chapelle qui y avait été édifiée, fut détruite pendant la révolution française, ainsi que l’atteste un procès-verbal en date du 16 Juin 1796.