Selon la tradition orale, des pierres utilisées pour la construction de ce bâtiment provenaient de la maison natale de sainte Marguerite d’Youville. Dans les faits, c’est impossible, car cette dernière était en bois et elle a été démolie en 1743 pour faire place à la maison de Thimotée Silvain (Sullivan).