Cette maison a été construite entre 1852 et 1855. Avant son érection, une école de l’institution royale se retrouvait sur le site de même qu’une maison en bois où résida, pour un temps, le médecin Joseph-Octave Beaubien.
La maison Joseph-Octave Beaubien possède une architecture dite monumentale. Mais elle se situe à la fois dans les styles palladien et néoclassique, en raison de certains éléments architecturaux. Avec ses deux étages, elle forme un ensemble massif. Son toit à deux versants est dépourvu de lucarnes. La façade présente une porte d’entrée d’influence américaine avec ses deux fenêtres latérales. Le côté sud du bâtiment comprend deux entrées et un balcon à l’étage entouré d’une balustrade. La partie Est forme une annexe intéressante à la maison avec son toit mansardé et ses consoles sans appui. Elle ajoute un certain éclectisme à l’ensemble.
Parmi les occupants de cette résidence qui était somptueuse à l’époque, on compte des personnalités importantes. Le premier est Joseph-Octave Beaubien. En 1847, il accepte l’invitation de son oncle le curé Jean-Louis-Beaubien de quitter Sainte-Elizabeth pour Montmagny et de pratiquer la médecine. Quelques années plus tard, ce même oncle lui fait construire cette maison de pierres. Beaubien est célèbre pour avoir été député libéral dans le comté de Montmagny à la Chambre d’Assemblée de la province du Canada en 1858, 1861 et 1863. Intéressé par l’agriculture, il met sur pied à Montmagny une petite fabrique de charrues agricoles. Par son mariage avec Catherine Élizabeth Aglaé Chenet, en 1849, il devient copropriétaire de la seigneurie de Vincelotte (Cap-Saint-Ignace). Il fait l’acquisition en 1867 d’un vaste domaine de Jacques Couillard Després à l’ouest de la rue Saint-Jean-Baptiste. Il sera à la tête de la Société d’agriculture de Montmagny en 1859 et premier commandant en 1869 du 61e Régiment de Montmagny L’Islet.
En 1860, cette résidence passe aux mains du commerçant de L'Ancienne-Lorette Jean Hamel. Il y habite jusqu’à son décès en 1890. Propriété de sa fille Emma Hamel et de son mari Cleophas Talbot, elle est acquise par le Cercle de l’arsenal du 61e Régiment de Montmagny L’Islet en 1910. Achetée en 1913, par le ministère de la Défense nationale (gouvernement du Canada), elle sera vendue à l’électricien Lacasse Rousseau en 1924. La famille Rousseau la possèdera jusqu’en 1987, année où elle sera transformée en auberge.
Après avoir travaillé comme électricien à Saint-Lambert, où il fonda une famille avec Gabrielle Fafard, Lacasse Rousseau vient s’établir à Montmagny. Il crée la Electrical Manufacturing, une compagnie importante spécialisée dans la fabrication de produits permettant la transmission électrique. L’un de ses fils le suivra dans le secteur industriel. Ainsi, André Rousseau se fait connaître rapidement dans ce domaine. Il sera le fondateur en 1950 de la compagnie Rousseau Métal à Saint-Jean-Port-Joli. Sa carrière est par ailleurs marquée par la vie politique. Il sera député libéral provincial dans L'Islet en 1960 puis ministre de l'Industrie et du Commerce dans le cabinet Lesage entre 1960 et 1962. Son frère Jacques emprunte une voie différente, celle de l’ethnobotanique. Jacques Rousseau sera directeur du Jardin botanique de Montréal de 1944 à 1956. Sa carrière sera marquée par de nombreux voyages d’exploration d’herborisation, notamment dans le Nord du Québec. On le considère aujourd’hui comme l’un des pionniers de l’écologie québécoise.
La maison Beaubien a aussi servie de Mess pour les officiers du 61e Régiment de Montmagny.