Il palazzo venne fatto realizzare da Giovanni Dario nel 1487, su un preesistente edificio gotico, ispirato ai modi di Pietro Solari detto il Lombardo.
Giovanni Dario era un mercante di origine cretese, ma fu anche uomo dotato di grande personalità, cultura umanistica e diplomazia, tanto che divenne notaio della Cancelleria Ducale; ma soprattutto viene ricordato per aver negoziato l'accordo di pace del 1479 con il sultano Mehmet II.
Alla sua morte il palazzo passò in eredità alla figlia Marietta, che andò in sposa a Vincenzo Barbaro e da questi al figlio Gasparo. Il palazzo restò della famiglia Barbaro fino alla fine del Settecento.
Da quel momento accadde qualcosa di strano al palazzo che divenne foriero di disgrazie di ogni sorta per chi ne divenne proprietario.
Riportiamo qui solo alcuni esempi:
- Un commerciante armeno di pietre preziose, Arbit Abdoll, fece bancarotta poco dopo aver acquistato il palazzo - Rawdon Brown, ai primi dell'800, si suicidò all'interno del palazzo insieme al compagno, probabilmente a causa dello scandalo provocato dal loro legame omosessuale - Henry De Reigner si ammalò gravemente dopo l’acquisto del palazzo e fu costretto a tornare in Francia - Il conte Giordano delle Lanze, venne ucciso nel palazzo, colpito alla testa con un vaso dal marinaio croato di 18 anni che viveva con lui e che dopo l’omicidio fuggì a Londra, dove venne a sua volta assassinato - Il manager degli Who, Christoph Lambert, vi muore d’infarto - Nel 1964 si fece avanti il tenore Mario Del Monaco che però ruppe le trattative quando, mentre si stava recando a Venezia per perfezionare la compravendita, fu vittima di un gravissimo incidente stradale che ne interruppe per lungo tempo l'attività - All'inizio degli anni Ottanta il palazzo venne acquistato da un uomo d’affari veneziano, Fabrizio Ferrari, che vi si trasferì insieme con la sorella Nicoletta: anch'egli fece bancarotta in poco tempo mentre la sorella morì in un incidente stradale senza testimoni - Alla fine degli anni Ottanta il palazzo venne acquistato dal finanziere Raul Gardini, il quale, dopo una serie di rovesci economici e il coinvolgimento nello scandalo di Tangentopoli, si suicidò tragicamente pochi anni dopo.
Qualcuno ha fatto notare che sulla facciata del palazzo che dà sul Canal Grande si può leggere "Urbis Genio Joannes Darius", che significa "Giovanni Dario al genio della città", ma anagrammando la frase latina diventa: "Sub ruina insidiosa genero", cioè "genero insidiose rovine a chi abita sotto questo tetto".