Addossata alla Chiesa di San Stae si trova la sede della Scuola (o Scoletta) dei Tiraoro e Battioro. La Scuola venne fondata nel 1420 ed aveva inizialmente sede ai Santi Filippo e Giacomo, poi nella Chiesa di San Lio, dove rimase fino al 1710 quando si trasferì a San Stae. L'edificio, in stile tardo barocco, è attribuito all'architetto Giacomo Gaspari, che aveva partecipato senza successo al concorso per la facciata della Chiesa di San Stae.
I tiraoro fabbricavano fili d'oro per la manifattura tessile, per l'abbigliamento e per l'oreficeria, mentre i battioro riducevano l'oro in lamine sottili per la decorazione di opere d'arte (ad esempio per la facciata della Ca' d'Oro sul Canal Grande, oggi sede del Museo Franchetti).
Anche se la materia trattata era preziosa, la Scuola non fu mai ricca e anzi contrasse molti debiti per la costruzione dell'edificio. Quando la Scuola fu soppressa nel periodo napoleonico portò poche entrate alle casse del governo francese, essendo in forte passivo.
Sotto il governo austriaco l'edificio fu venduto alla nobildonna Angela Barbarigo, la quale per volere testamentario desiderò che l'immobile divenisse luogo di culto, ma gli eredi provvidero diversamente: divenne infatti deposito di carbone!
Nel 1876, in condizioni più che precarie, l'edificio fu acquistato dall'antiquario Antonio Correr che lo restaurò per destinarlo a galleria espositiva, uso mantenuto ancora oggi.