Avant d’avoir sa vocation résidentielle, le lieu occupé depuis plus d’un siècle par un immeuble à logements accueille d’abord une école anglophone, puis un lieu culturel et communautaire. Le site est attrayant dès les débuts du hameau qui deviendra la ville de Sherbrooke. En effet, il est à deux pas du confluent des rivières Magog et Saint-François et donc, du développement du village qui se fait, tant sur la partie Orford qu’Ascot, à partir de 1802. A la fin des années 1820, Sherbrooke compte moins de 300 personnes. Malgré la petitesse du hameau, une première école de niveau secondaire est fondée sur la rue Church, aujourd’hui la rue Bank, dès 1827. Détruit par le feu en 1856, l’établissement privé est reconstruit l’année suivante sur la rue Marquette. L’Academy offre des cours aux filles et aux garçons, et ce, jusqu’à l’ouverture de la Young Men’s Academy en 1878, près du carré Portland. À partir de ce moment, et jusqu’en 1895, la Young Ladies’ Academy se consacre à l’éducation des jeunes filles anglo-protestantes.
En 1906, un nouvel édifice est construit sur le site : le Monument national. Ce dernier joue le rôle de centre communautaire et culturel, et propose à la population majoritairement franco-catholique du secteur des salles de réunion, un gymnase, des allées de quilles, des tables de billard, une bibliothèque et une salle de spectacle qui devient permanente en 1910. On y produit et joue tout un éventail de spectacles, de l’opérette à la pièce de théâtre. Les activités du lieu sont toutefois de courtes durées. En effet, en raison de problèmes financiers, les propriétaires sont contraints de fermer les portes du Monument national en 1917. L’édifice est converti en immeuble à logements la même année.