Ma come già detto è grazie al figlio di Carlo III, Vitaliano VI, che si deve la definitiva trasformazione dell'isola. Oltre a finanziare la continuazione dei lavori, anche grazie all'aiuto del fratello Cardinal Gilberto, trasformò il palazzo in luogo di sontuose feste e rappresentazioni teatrali per la ricca nobiltà europea. A palazzo in quel periodo lavorò il Richini (noto architetto di una famiglia di origini milanesi) mentre a giardino lavorava il Vismara. I lavori di completamento dell'idea di Vitaliano furono eseguiti sotto Carlo IV (nipote del Vitaliano). I giardini vennero inaugurati nel 1671. Il Carlo IV ebbe l'idea di trasformare l'isola in una "fantastica nave", con il palazzo come prua ed i giardini a terrazze a rappresentare al poppa.
Secondo il Boniforti nel libro Lago Maggiore e dintorni del 1858:
Si diè mano all'opera e fu compiuta in 60 anni di lavoro. In vero chi può contare le difficoltà superate e le ingenti ricchezze che vi si profusero per tagliare e conformare al concetto disegno l'informe rocca, per coprirla di terra vegetale, per fondare quella serie di solidissime volte su cui poggia la piramidale scalea dei pensili giardini...Nei secoli successivi l'isola divenne nota in tutta Europa e frequentata da molti personaggi che hanno lasciato un'impronta indelebile nella storia europea, primo tra tutti Napoleone Bonaparte con la moglie Giuseppina, talmente innamorata del posto che cercò di farsi cedere le isole dalla famiglia; trovato un secco rifiuto si dovette "accontentare" di Villa d'Este sul lago di Como.
Sempre grazie al Bonforti sappiamo che:
...ond'è che tanta meraviglia vaghezza vi trae del continuo nella bella stagione viaggiatori di ogni contrada e rango a visitarla. Tra gli esteri e nostrali principi che qui si deliziarono, ricordiamo il Napoleone, venutovi con la consorte, re Carlo Felice di Savoia colla regina sua consorte nel settembre del 1828, e negli ultimi anni il duca di Brabante, il re di Portogallo e l'ex regina di Francia, Anna Maria d'Orleans con i figli, duchi di Nemurs e di Aumale, i principi e le principesse di casa Savoia e l'imperatrice di Russia Alessandra Fedorowna...Ultimo evento di grande rilevanza mondiale svoltosi sulle sponde della piccola isola è quello noto al mondo come "gli accordi di Stresa", in cui Mussolini, MacDonald e Pierre Laval parlarono della situazione mondiale che andava deliniandosi... ma questa è tutta un'altra storia......
Fabio Casalini