Metti l'Intelligenza Artificiale in una scatola

Traduco, liberamente e parzialmente, l'abstract del paper di Stuart Armstrong, Anders Sandberg e Nick Bostrom, pubblicato agli inizi di giugno su Minds and Machines:

Non c'e' motivo di ritenere che il livello di intelligenza raggiunto da noi esseri umani rappresenti il limite massimo raggiungibile con l'Intelligenza Artificiale, se essa sara' mai realizzata. Cio' pone dei seri problemi di sicurezza, dato che un sistema superintelligente avrebbe la capacita' di influenzare la direzione del futuro sulla base del proprio, possibilmente problematico, sistema motivazionale. Risolvere tale problema si e' rivelato considerevolmente piu' difficile di quanto si ritenesse. Questo paper si occupa di un approccio in particolare, quello descritto come "Intelligenza Artificiale Oracolo". Una I.A. Oracolo e' una I.A. che interagisce con il mondo esclusivamente rispondendo a domande ad essa poste. Anche questo approccio limitato presenta consideroveli sfide. In questo studio, analizziamo e critichiamo vari metodi per il controllo di una I.A. In generale, una I.A. Oracolo potrebbe essere piu' sicura di una I.A., ma rimarrebbe potenzialmente pericolosa.

Le conclusioni degli autori? Tramite l'impiego di I.A. Oracolo potremmo, potenzialmente, sopravvivere la creazione di I.A. dotate di livelli di intelligenza super-umani.
Qui il paper (a pagamento, su Minds & Machines), qui la versione pre-pubblicazione (gratis, dalla quale proviene l'abstract qui sopra), qui una 'Eclipse Phase adventure' nella quale Anders Sandbergs esplora lo scenario del paper, e qui un video di Stuart Armstrong che presenta il tutto.