En 1872 le premier marquis de Linares, José de Murga, acquit le terrain où fut construit le palais. Il se maria avec sa propre sœur, Raimunda Osorio y Ortega. En effet, auparavant, vers 1830, le père de José, Mateo de Murga, avait vécu une histoire d’amour passionnée avec une belle vendeuse de tabac, qui mit au monde secrètement un bébé appelé Raimunda.
Le destin fit que frère et sœur se connussent et tombassent amoureux. Lorsque le père fut au courant de cette relation, il envoya son fils à Londres pour éviter le mariage, mais ses efforts furent vains, car José rentra à Madrid pour se marier.
Après la mort du père de José, le couple apprit le double lien qui les unissait. C’est à ce moment-là que commence la tragédie des marquis de Linares et leur triste vie à l’intérieur du palais.
On pense que le Pape Léon XIII accorda aux époux incestueux une bulle qui leur permit de vivre sous le même toit, mais dans la chasteté. Jusqu’à nos jours, il n’y a pas de trace de ce document, mais les marquis déclarèrent dans leur testament ne pas avoir eu d’enfants.