L'abbaye doit sa renommée à un pape, Clément VI.
Pierre Roger, futur Clément VI, n'est au début qu'un simple moine du monastère.
Devenu évêque d'Arras, archevêque de Rouen en 1330, garde des Sceaux en 1334 puis cardinal, on le sacre pape en 1342.
Pierre n'oublie pourtant pas ses origines modestes, et offre beaucoup de privilèges à l'abbaye où il a vécu toute sa jeunesse. Il demande même à être inhumé dans l'église abbatiale !
L'église actuelle, on la lui doit : il la fait commencer en 1343, à ses frais, sur les ruines du lieu de culte primitif bâti du temps de saint Robert.
La date de son achèvement ? Une cinquantaine d'années plus tard !
Tenez : on voit à La Chaise le gisant en marbre du pape Clément VI : il le fait réaliser de son vivant.
À l'origine, il est entouré de 45 statues représentant toute sa famille, malheureusement détruites par les protestants...