Sabendo dos grandes milagres que a Senhora do Monte fazia, muitas pessoas dirigiam-se para a venerar, surgindo assim o Ermitério. O Ermitério foi crescendo de tal modo que trocavam as habitações rudimentares por pequenas casas, chegando mesmo a existir um convento central. A igreja também foi aumentada e aprovisionada de bons ornamentos.
Falecido o Abade Ermitão, sucedeu-lhe Paio Amado e a este D. Nuno. O Rei D. Afonso Henriques mandou construir um novo mosteiro num local mais aprazível, ou seja, em Bouro e em 1148, concedeu-lhe carta de Couto, que foi renovada em 1162.
Esse novo mosteiro adotou a Ordem de Cister. Apesar de ter prosperado rapidamente graças ao apoio real, à sua localização, e à atividade dos frades, o mosteiro veio a entrar num processo de degradação a partir do século XV.
Em 1834, com a extinção das ordens religiosas masculinas, o mosteiro foi abandonado, vindo depois a ser vendido em hasta pública a particulares.