Solomon et Fanny ont essayé d’avoir des enfants, mais les deux filles que Fanny a portées, sont décédées peu après la naissance. Les deux filles sont enterrées au cimetière St. Mark. Selon les recensements, avant 1901 les Rowley ont adopté une fille, Maude Mutter, âgée de 15 ans. Ils ont continué à habiter dans la maison sur la rue King et Salmon a acquis d’autres lots qu’il a achetés au nom de Fanny.
Au cours d’un voyage d’affaires à Philadelphie en 1905, Salmon est décédé soudainement chez sa fille (d’un mariage séparé) et ses funérailles ont eu lieu à Philadelphie. Fanny se retrouva veuve avec de nombreuses propriétés à Niagara-on-the-Lake. Peu après, Fanny a vendu les propriétés et a déménagé à Cleveland avec leur fille adoptée, Maude, qui est devenue une professeure de piano. Elle est décédée à Cleveland en 1913 et elle est enterrée au cimetière St. Mark.
Dans le recensement de 1861, Fanny, qui avait 13 ans, est notée comme étant « mulâtre ». Dans le recensement Canadien de 1871, Fanny est identifiée comme étant « Africaine » ou « de couleur » avec sa mère, son beau-père Lewis Ross et ses six enfants. Dans le recensement Canadien de 1881, l’origine de Fanny et celle de toute la famille Ross est classée comme étant « Française ». Aucune identification raciale n’est énumérée dans le recensement de 1891 où elle figure sur la liste avec son mari Salmon Rowley. Dans le recensement de 1901, Fanny est enregistrée comme étant « Anglaise » comme son mari Salmon.
Lorsque Fanny a déménagé à Cleveland, Ohio, elle et Maude figuraient sur la liste comme Canadiens Français dans le recensement Américain et elle est morte décrite comme étant une femme blanche en 1913. Ceci suggère qu’à Niagara ils connaissaient ses origines, mais sa peau était tellement claire qu’elle était inscrite comme étant blanche et ses parents étaient inconnus. L’identification d’ascendance Africaine en marquant l’histoire des Noirs est parfois diluée ou effacée par des mariages mixtes.