Ce lieu sert de relais pour les diligences dès 1836. On y vend même de l’alcool, ce qui est plutôt rare à cette époque.
Plusieurs commerces s'y installent au fil du temps, dont le désormais mythique hôtel Magog, des bars, restaurants, studios de photographes, des galeries d’art... et un petit salon de barbier centenaire. La radio communautaire CFLX y a aussi ses studios au dernier étage pendant plusieurs années.
De nombreuses personnalités y séjournent dans la première moitié du 20e siècle, dont l’homme politique Maurice Duplessis, en 1935.