L’édifice de la légation américaine a été agrandi à la fin du XIX siècle : un second bâtiment a été relié au premier par une passerelle. Les salles de ce dernier sont disposées autour d’un patio central de style arabo-andalou.
La mission diplomatique américaine a quitté les lieux après l’indépendance du Maroc en 1956 pour s’installer à Rabat. C’est à ce moment qu’un groupe d’intellectuels et de diplomates américains ont pensé à créer ce musée, le Talim, Tangier American Legation Museum, avec le soutien du gouvernement marocain.
Actuellement, Talim collabore avec une ONG marocaine, la Fondation Al Madina, qui réalise des activités sociales à l’attention de la population défavorisée du quartier de la médina, comme l’alphabétisation de jeunes femmes et l’éducation pour la santé.