Dès le début de la colonisation, les habitants utilisent la pierre pour la construction de leur église (1658) et de leur maison. L'ancêtre Robert Drouin, qui a épousé Anne Cloutier, exploite dès 1636 une briquerie sur sa terre à Rivière-aux-Chiens.
Au même moment apparaissent les fours à chaux utilés pour blanchir et assainir les bâtiments. Près de chaque construction d'envergure, on aménage un four à chaux, comme lors de la construction du moulin du Petit-Pré. Dans les années 1700 et avec la création du village, certains cultivateurs découvrent leur aptitude d'entrepreneur. Parmi eux, il y a certains qui voient tout le potentiel des riches plateaux ou terrasses de Château-Richer, composés de dépôts d'argile et de sable disposés sur une structure de calcaire de Trenton.
Outre la production de chaux et de brique, les entrepreneurs de Château-Richer s'emploient activement à exploiter l'argile et le calcaire des carrières de pierre à partir du XVIIIe siècle. La zone des carrières de pierre est située sur le plateau et est comprise entre le ruisseau Prémont et la rivière Sault-à-la-Puce. La pierre monte par bancs jusqu'à 150 pieds, parfois au delà, sur une largeur d'un mille. De meilleure qualité, elle est préférée à la pierre noire de Québec car cette pierre de Château-Richer offre une densité de 168 livres au pied cube comparativement à la pierre de Québec qui est de 128 livres au pied cube.
Les grès de calcaire ou calcaire de Trenton de Château-Richer sont acheminés aux marchés de Québec en vue de la construction des fortifications, en parement extérieur des édifices, des clôtures et des quais, des foyers, des cheminées, du pavage des rues, etc.
Au lendemain de la Conquête, les pierres sont en grande demande sur notre territoire. À des fins personnelles, on utilise la pierre pour reconstruire sa maison. La moitié des maisons à Château-Richer sont reconstruites avec ce matériau, les autres sont faites de bois, pièce sur pièce. À des fins municipales, on utilise la pierre concassée pour les routes, pour les murs de soutènement, pour les quais et les ponts. À des fins commerciales, les commerçants et navigateurs s'emploient à extraire la pierre et à l'expédier par barque vers les chantiers de Québec.
On ne connaît pas le nom des entrepreneurs de pierre à l'époque du Régime français. On sait, par contre, qu'il existait à Château-Richer l'exploitation de pierre "Les Islets". Cette appellation est relatée dans un contrat d'approvisionnement de pierre au lieu dénommé Les Islets de Château-Richer, daté du 3 mai 1732. Ces pierres ont servi à la construction de la citadelle de Québec.
Au XIXe siècle, Château-Richer devient une capitale majeure de la pierre au Québec. L'industrie de la pierre en expansion ouvre une porte sur le développement économique de Château-Richer, jusque-là uniquement concentré sur l'activité agricole. Selon le rapport de W.A. Parks de 1890 Reports on the building and ornemental Stones of Canada, Château-Richer compte neuf carrières de pierre. Cette pierre est en forte demande, compte tenu des constructions militaires qui se réalisent ou se rénovent dans la ville de Québec, des dalles à construire pour l'aménagement des rues de villes et par la montée de l'architecture de style victorien et du second empire.
Les constructeurs de maisons et d'édifices de la ville de Québec s'enorgueillissent d'utiliser la pierre de Château-Richer, considérée comme étant la plus riche et de meilleure qualité que celle de Beauport et de Québec.
Alors qu'ailleurs la construction des bâtiments en pierre augmente, Château-Richer voit le nombre de ses maisons en pierre diminuer en faveur du bois passant de 51% en 1861 à 32,8% en 1891. Ce phénomène s'explique. Parallèlement à la montée de l'industrie de la pierre, Château-Richer a aussi connu une explosion de son industrie forestière. Bref, Château-Richer est en pleine effervescence, et c'est sans compter une industrie maritime florissante.
Le premier commerçant de pierre connu de Château-Richer se nomme Ignace Gravelle. Le 7 mai 1832, ce dernier obtient du Séminaire de Québec l'autorisation d'occuper une parcelle de terre lui permettant d'exploiter la pierre et de l'acheminer sur la grève.
Le 4 novembre 1843, il obtient la permission d'occuper deux autres parties de la grève joignant un quai que lui-même avait fait construire en face de l'église pour le transbordement de la pierre. Une longue lignée de Gravelle (Gravel)) suivra les traces du fondateur de l'exploitation de pierre, qui durera plus d'un siècle.
En 1857, Pierre Lacombe achète une partie de la Pièce de Chêne pour y exploiter une carrière de pierre. Ses successeurs prennent sa relève jusqu'en 1922. Son nom revient souvent dans les documents conservés aux archives du Séminaire, particulièrement entre 1865 et 1880.
En 1914 on compte huit entrepreneurs qui emploient 54 employés:
Carrière Baker: 25 hommes
Carrière Lachance: 4 hommes
Carrière F. Verreault: 3 hommes
Carrière Trépanier: 4 hommes
Carrière L. Gravel: 4 hommes
Carrière H. Gravel: 4 hommes
Carrière François Gravel: 5 hommes
Carrière O Falardeau: 5 hommes
En 1935 il n'en reste que trois qui font travailler une centaine d'employés dont une trentaine d'Italiens. Deux carrières subsistent aujourd'hui.
Quelques constructions faites de pierres de Château-Richer: Quebec Winter Club. Église anglicane de Saint-Pierre, Université Laval, Fortification de Lévis, Citadelle de Québec, Séminaire de Québec, Parc de l'Artillerie, Anglicane de Lévis, Place Royale, Église de Château-Richer.
Anecdote: On raconte que, lors de la construction du pont de Québec, il y avait autant de pierres dans le fond du fleuve que de pierres commandées pour la construction. C'était que certains transporteurs de Château-Richer qui voyageaient au moyen d'une goélette à voile se voyaient obligés de s'alléger un peu lorsque le vent n'était pas de la partie.
Source: Buteau, Lise (2005). « Château-Richer, Terre de nos ancêtres en Nouvelle-France », pages 228-241