Cette grande maison georgienne date de 1844 et elle fut à l’origine celle de Peter Houl qui la vendit en 1846 à Fred Seeger. Elle fut ensuite la demeure de William Hubbard, agriculteur de Pigeon Hill. Ce dernier la légua à son épouse Mary Drury en 1890.
La maison Hubbard fut victime d’un raid des Irlandais de la Nouvelle-Angleterre, les «Fenians», en 1866. Ces derniers avaient conçu un plan pour le moins audacieux. Ils projetaient de s’emparer, à partir du Vermont, d’une partie du Bas-Canada, et de le remettre ensuite à la couronne britannique en échange de la libération de l’Irlande!
En juin 1866, sous la conduite de leur général Samuel Spears, mille d’entre eux foncèrent sur notre région et réussirent à s’emparer de Frelighsburg, Pigeon Hill, Saint-Armand et Philipsburg. Leurs colonnes s’enfoncèrent aussi loin que Stanbridge East où quelques-uns d’entre eux firent même un excellent dîner dans une auberge locale!
Ils furent repoussés dès le lendemain par l’armée canadienne à laquelle ils durent se rendre, faute de munitions. Mais ils avaient causé beaucoup de dégâts. La maison et les bâtiments de William Hubbard furent victimes de leurs déprédations et rapines. William signa une pétition exigeant une indemnisation pour ses pertes. Le gouvernement de sa majesté lui accorda 24 dollars pour sa peine…