Ce lieu sert de relais pour les diligences dès 1836. On y vend même de l’alcool, ce qui est plutôt rare à cette époque.
Plusieurs commerces s’y installent au fil du temps, dont le désormais mythique Hôtel Magog, des bars, des restaurants, des studios de photographes, des galeries d’art… ainsi qu’un petit salon de barbier centenaire. La radio communautaire CFLX y a également ses studios au dernier étage pendant plusieurs années.
De nombreuses personnalités y séjournent durant la première moitié du 20e siècle, dont l’homme politique Maurice Duplessis, dans les années 1930.