Début septembre 1849, à l’invitation du curé de Bellegarde, l’abbé Castérès, le Père Avignon était venu prêcher dans la chapelle de Sainte Marie du Désert une neuvaine préparatoire à la fête de la Nativité de la Sainte Vierge. Séduit par la solitude du lieu, il pensa qu’elle conviendrait à l’établissement d’un monastère de contemplatifs.
Ce rêve put devenir réalité quand une paroissienne de Garac, Mme Marie-Joséphine Guyon, née Dupeysset, offrit de mettre à la disposition de ce projet la métairie du Mouchet qu’elle possédait à une centaine de mètres de la chapelle, avec les terres qui en dépendaient (vingtaine d’hectares).
Avec le soutien des prêtres voisins, le Père Avignon sollicita et obtint l’accord de son archevêque, le cardinal d’Astros.
Pressenti, l’abbé du monastère cistercien d’Aiguebelle, Dom Orsise Carayon, se montra plutôt favorable. Il faudra cependant attendre 1852 pour que le Chapitre général reconnaisse « l’opportunité d’une fondation dans ce pays dépourvu de maisons de l’Ordre ».
C’est dans des locaux en planches que, le 21 décembre 1852, le Père Bernard Raymond arriva à la tête d’un petit groupe comprenant un moine de chœur et quatre frères convers. En 1853, trois frères vinrent renforcer l’équipe première, et le 13 juillet 1853, le Père Abbé d’Aiguebelle put procéder à la bénédiction solennelle des nouvelles installations dont la Communauté prit possession le 8 septembre.