Le château Masson est le premier nom porté par le majestueux bâtiment du Collège Saint-Sacrement. Lors de la mort de son époux - le seigneur Joseph Masson, tout premier millionnaire québécois - madame Sophie Raymond Masson décide de réaliser un de leurs rêves, soit de faire construire une demeure à la hauteur de leur rang social. Elle fait appel aux services de l’arpenteur-architecte Pierre-Louis Morin et à ceux du maçon Pierre Chapleau pour la réalisation de la construction qui débute en 1848.
À l’origine, les plans du château ne contenaient qu’un seul étage, mais étant donné sa grande étendue – 125 pieds de longueur par 75 pieds de largeur – cela lui donnait une impression d’écrasement. On fait vite de réajuster les plans et d’ajouter un deuxième étage. Une clôture de fer forgé ceinture l’enceinte de l’édifice. Fait de pierres taillées, l’architecture du manoir démontre un souci du détail par les ornements et l’intégration des lignes plus droites.
La famille Masson s’installe au manoir à Noël 1854. À l’époque, sur les huit enfants du couple, trois sont déjà mariés et deux sont à l’étranger où ils poursuivent leurs études. Madame Masson emménage donc avec ses trois plus jeunes enfants et son personnel dans cette immense maison.
Pendant une trentaine d’années, le château Masson est le lieu de rencontres au niveau religieux, mais aussi politique. Très généreuse de sa personne, Sophie Raymond Masson s’implique dans divers projets et œuvres caritatives ou sociales.
Le château sera légué aux Sœurs de la Providence à la mort de la seigneuresse en 1883, à l’âge très honorable pour l’époque de 84 ans. Il sera alors transformé en Hospice de Sainte-Sophie pour dames de la haute société, fonction qu’il conservera pendant quatre ans.
Malheureusement, les Sœurs constatent en 1888 que le legs était devenu plus onéreux que profitable, et décident de rétrocéder le manoir à la succession Masson, si bien que l’endroit reste inhabité pendant près d’une quinzaine d’années. En 1902, le manoir est acheté par les Pères du Très-Saint-Sacrement qui en font un juvénat. Depuis ce temps, le Collège Saint-Sacrement offre une éducation de qualité à la relève.