La chapelle qui existe de nos jours a été bâtie en 1858 sur l’emplacement de la vieille chapelle, par les soins de la famille de Kerninon, fondatrice de l’église paroissiale de Ploulec’h et dont le château se trouve à 2 km du Yaudet. Elle fut consacrée le 19 mai 1861.
Le retable de l'autel, qui existait dans l'ancien sanctuaire, est en chêne et remarquable par ses sculptures, il date du XVIIe siècle. Au centre se trouve le lit recouvert de dentelles, avec la Vierge couchée et l'enfant.