Cette maison témoigne de la prospérité de l’un des plus importants citoyens d’Aylmer, Robert Conroy, un immigrant irlandais, arrivé à Aylmer en 1830. Il épouse en 1837 Mary McConnell dont la famille fut l’une des premières à venir s’installer à Aylmer. Associé avec Charles Symmes, John Egan et Harvey Parker, des hommes d’affaire comme lui, il devient hôtelier et marchand, puis ouvre une boulangerie. Il est aussi élu conseiller municipal et joue un rôle déterminant dans la florissante industrie du bois en étant propriétaire d’une scierie considérée comme le centre économique d’Aylmer des années 1850 à 1860. Il fut aussi le quatrième maire de la ville.
Deuxième résidence des Conroy, cette maison de pierre fut construite en 1855. Robert Conroy l’appela Lakeview en raison de la vue magnifique qu’elle avait sur le lac Deschênes. Cette maison de deux étages avec trois foyers et de magnifiques boiseries, était entourée de deux acres de pelouse. Une bibliothèque située du côté est de la maison donnait sur une grande serre. Il y avait une écurie, une remise, un poulailler, une glacière et une buanderie. Lors de la visite du Prince de Galles au Canada en 1860, il n’y avait pas à Ottawa de résidence suffisamment prestigieuse pour accueillir quelqu’un de son statut. C’est donc à Lakeview que le Prince de Galles s’installa pour la durée de son séjour.