L'église et le presbytère Saint-Pascal-Baylon sont considérés comme lieu historique local compte tenu de leur symbole religieux au sein de la communauté.
Le 12 juin 1907, le diocèse d'Ottawa reçoit la visite de cinq représentants de la paroisse Sainte-Félicité de Clarence Creek. Ceux-ci ont en main une liste de noms de 87 personnes qui souhaitent l'érection d'une nouvelle paroisse dans leur petite communauté, alors nommée The Lake.
En octobre 1908, une fois l'emplacement choisi, la construction de l'église et du presbytère commence. Tous les gens de Saint-Pascal-Baylon se hâtent de terminer la construction de l'église. Treize mois plus tard, soit le 14 décembre 1909, Mgr J. O Routhier procède à la bénédiction de la nouvelle église. Le premier curé nommé est l'abbé Esdras Guillaume Barette, qui le demeure jusqu'en 1911.
En 1911, le curé Joseph Éthier apporte plusieurs changements à l'intérieur de l'église. Notamment, il fait construire une sacristie, aménage une salle paroissiale au sous-sol et ajoute un chemin de croix. En 1942, les paroissiens décident de rénover l'église.
Toutefois, très tôt le dimanche 20 juin 1943, les habitants du village sont alertés par une voix nerveuse criant : « Le feu, le feu est pris à l'église! ». À leur arrivée sur les lieux, les villageois constatent qu’un incendie violent fait rage et que les flammes s’échappent déjà du toit. Ce sont les hommes du village qui, à leurs risques et périls, sortent les bancs, les statues et les stations du nouveau chemin de croix. Le 15 octobre 1944 marque la bénédiction de la nouvelle église, construite sur les fondations de la première.