Secondo la leggenda uno stibeum pellegrino fu ospitato nella villa per una notte. Il "pellegrino", identificabile con l'alchimista Francesco Giuseppe Borri, dimorò per una notte nei giardini della villa alla ricerca di una misteriosa erba capace di produrre l'oro, il mattino seguente fu visto scomparire per sempre attraverso la porta, ma lasciò dietro alcune pagliuzze d'oro frutto di una riuscita trasmutazione alchemica, e una misteriosa carta piena di enigmi e simboli magici che doveva contenere il segreto della pietra filosofale.
Il marchese fece incidere, sulle cinque porte di villa Palombara e sui muri della magione, il contenuto del manoscritto coi simboli e gli enigmi, nella speranza che un giorno qualcuno fosse riuscito a decifrarli. Forse l'enigmatica carta potrebbe riferirsi, per concordanze storiche e geografiche e per il passaggio tra le mani di alcuni appartenenti al circolo alchemico di villa Palombara, al misterioso manoscritto Voynich, che faceva parte della collezione di testi alchemici appartenuti al re Rodolfo II di Boemia e donati da Cristina di Svezia al suo libraio Isaac Vossius, e finì nelle mani dell'erudito Athanasius Kircher, uno degli insegnanti del Borri nella scuola gesuitica.
Esso fu di nuovo recluso a Castel Sant'Angelo dove sarebbe morto nel 1695; eppure a soli tre anni dopo questa data risalirebbe la nascita presunta di uno dei più misteriosi personaggi del settecento: il Conte di San Germano, un leggendario alchimista che avrebbe trovato il segreto dell'elisir di lunga vita, e la cui esistenza si sovrappone in parte con quelle del mago Cagliostro che a sua volta dichiarava di essere vissuto due secoli. Il confronto tra i ritratti di Francesco Giuseppe Borri e del Conte di San Germano, pur separati da almeno un secolo, mostrano secondo alcuni lineamenti compatibili con quelli della stessa persona.
Nel 1873 la Porta Magica fu smontata e ricostruita nel 1888 all'interno dei giardini di piazza Vittorio, su un vecchio muro perimetrale della chiesa di Sant'Eusebio, e accanto furono aggiunte due statue del dio Bes, che si trovavano in origine nei giardini del Palazzo del Quirinale.