À partir de 1605, et au cours des années suivantes, les colons français défrichent des terrains autour de l'Habitation de Port-Royal, de même que sur le site actuel d'Annapolis Royal où sont semés grains et légumes.
Le territoire est concédé en 1621 à Sir William Alexander, noble écossais, par le roi Jacques 1er d'Angleterre, nommé également Jacques VI d'Écosse. Les subventions pour fonder une colonie ne lui seront accordées que huit ans plus tard.
De 1629 à 1632, Sir William Alexander fils mène un groupe de 70 hommes et femmes à plusieurs kilomètres en amont de l'ancienne Habitation de Port-Royal. Il y érige le Fort Charles, nommé ainsi en l'honneur du roi Charles 1er Stuart. L'objectif est de concrétiser le territoire de la Nouvelle-Écosse évoqué huit ans auparavant par la création d'une charte.
En 1632, l'Acadie est restituée par le Traité de Saint-Germain-en-Laye. Des colons acadiens s'installent en 1636 dans la région avec de Menou d'Aulnay, faisant du site le quartier général de Port-Royal.
Le premier fort est construit en terre en 1643. Il fait partie des défenses de Port-Royal, nouvelle capitale de l'Acadie.
De 1654 à 1697, la possession ne cesse de changer de mains.
En 1702, les Français reconstruisent le fort en carré fait de terre avec quatre bastions. De style Vauban, il demeure encore intact aujourd'hui.
À l'automne 1710, des troupes armées britanniques dirigées par Francis Nicholson, prennent le contrôle du fort après un siège d'une semaine. La France ne sera pas de taille face aux 35 navires et 2 000 soldats de la flotte britannique.
Le 16 octobre, le gouverneur Daniel d'Auger de Subercase capitule, le fort et la zone de cinq kilomètres entourant le village tombent aux mains des britanniques. Le lieu est nommé Annapolis Royal et Fort Charles devient Fort Anne en l'honneur de la reine Anne, monarque de l'époque.
Le fort passe aux mains des Anglais avec la signature du Traité d'Utrecht en 1713.
En 1724, les Mi'kmaqs et les Malécites lancent une attaque contre le fort alors occupé par les Britanniques. En 1726, les chefs autochtones se réunissent au fort pour y ratifier un traité de paix.
En 1744, les Français mènent une première attaque pour récupérer le fort. Elle est dirigée par le capitaine François du Pont, de Louisbourg. Soldats français et combattants autochtones attaquent le fort la nuit pendant près d'un mois, avant d'abandonner à l'arrivée de renforts de la Nouvelle-Angleterre.
Entre 1745 et 1746, deux nouvelles attaques françaises sont lancées. Les autorités militaires qui occupent le fort continuent d'exercer leur pouvoir sur les Mi'kmaqs, les Acadiens et la petite population britannique de la Nouvelle-Écosse jusqu'en 1749, année où Halifax devient la nouvelle capitale.
Les conflits armés entre les troupes britanniques et françaises reprennent de nouveau dans les années 1750, ce qui a cette fois-ci des conséquences tragiques pour les Acadiens.
Entre 1790 et 1796, le fort reprend un peu plus d'importance dans la gestion du territoire avec la construction d'un quartier des officiers.