Cet ancien presbytère fut construit en 1865 sous la gouverne du curé Charles St-Georges au coût de 3 200 livres.
Initialement, la couverture de l'édifice était en bardeaux et une galerie entourait toute la maison, laquelle fut construite à un emplacement de choix, aux abords de la rivière Richelieu.
À l’époque, se trouvait également à proximité du presbytère un hangar à grain. Le prêtre recevait la dîme en blé, pois, avoine, orge, etc. Il y avait également une grange, une étable et un hangar à bois. Ceux-ci furent démolis en 1946 pour faire place à un grand stationnement.
Source : Une photo d'époque du presbytère de Saint-Charles-sur-Richelieu.
De style mansard, il mesure 40 pieds par 36 et il compte deux étages (en excluant l’annexe, un ancien garage, qui fut transformée en 2009). Les murs sont en briques.
L’actuel presbytère est en fait le troisième toit qui fut offert au curé de l’endroit. Étant d’abord une petite maison en bois avec une cheminée en terre, c’est en 1740 qu’un second presbytère, en pierres, fut construit à l’emplacement qu’on lui connaît aujourd’hui. Maintes fois réparé, celui-ci dura près de 125 ans avant que les paroissiens, en 1865 et au nombre de 83, demandent à l’évêque d’en ériger un neuf. D’ailleurs, il est intéressant de savoir que de 1812 à 1921, Saint-Charles-sur-Richelieu eût un vicaire en ces lieux.
Le dernier prêtre à habiter le presbytère fut l’Abbé Claude Pagé. Il y vécu de 1988 à 1989. Par la suite, le presbytère fut loué à des résidents pour être ensuite acheté en 2001 par la Municipalité. On y trouve désormais le bureau municipal de Saint-Charles-sur-Richelieu et La Fabrique.