Cet édifice de type géorgien, fait de pierre de taille et de bois, devait servir de lien entre les écoles publiques et les collèges et universités dans le cheminement académique des jeunes hommes et vers 1880 aussi des jeunes filles. C’est donc l’équivalent de la première école secondaire de la région. Les élèves y apprenaient l’arithmétique, l’algèbre, la géométrie, la grammaire anglaise, le latin, le grec et la diction. Cette institution laïque accueillait les élèves anglophones de confessions protestantes et catholiques.
La construction de l’Académie, que l’on peut observer dans la partie avant de l’édifice, débute en 1857 et se termine en 1861. Seulement quelques personnes travaillent alors sur ce projet de construction. À la fin du 19e siècle, le bâtiment est considérablement agrandi et embellit, puis un clocher carré est ajouté en 1911. En 1925, à la suite d’un feu ayant causé des dommages importants, le toit est élevé et un troisième étage est ajouté au bâtiment. Pendant de nombreuses années, cet édifice abritera les bureaux de la commission scolaire protestante « Western Quebec School Board ».