In America 3 giovani ingegneri della Cornell University hanno dedicato il proprio progetto finale allo sviluppo del prototipo di un dispositivo sorprendente: si tratta di un guanto in grado di interpretare e tradurre i movimenti della mano corrispondenti alle 26 lettere dell’alfabeto inglese dei segni (America Sign Language, ASL).
Il guanto è dotato di sensori flessibili, sensori di contatto e accelerometri in tre dimensioni e raccoglie dati sulla posizione di ogni dito e sui movimenti della mano che differenziano ogni lettera.
La traduzione è trasmessa ad una stazione base che visualizza le lettere in forma testuale, le pronuncia e si interfaccia con il computer.
La lingua dei segni è la sesta lingua più parlata al mondo e appartiene in generale alle comunità dei non udenti di tutto il mondo. È un linguaggio visivo basato sui movimenti del corpo: un sistema codificato di segni delle mani, espressioni del viso e movimenti del corpo che costituiscono una vera e propria grammatica spaziale.
La comunicazione avviene producendo quelli che a un profano possono sembrare dei banali gesti, ma che sono in realtà precisi segni compiuti con una o entrambe le mani che hanno uno specifico significato, codificato e assodato, come avviene per le parole. A ognuno di essi è assegnato uno o più significati. Le lingue dei segni sfruttano il canale visivo-gestuale, perciò il messaggio viene espresso con il corpo e percepito con la vista.
Di seguito la spiegazione tecnica del progetto e delle sue modalità di realizzazione.
I contenuti fanno riferimento al sito web della Cornell University dove è disponibile la versione integrale in lingua inglese.
Guanto
Il traduttore del linguaggio dei segni inizia con il guanto che è il cuore del progetto. Il guanto nero contiene nove sensori flessibili, quattro sensori di contatto, un accelerometro dimensionale per gli assi xy e un accelerometro unidimensionale per l’asse z.
I sensori di flessione sono i sensori più critici, perché la maggior parte delle lettere possono essere distinti sulla base della flessione delle dita. Tutte le dita hanno due sensori flex, uno sopra l’articolazione e l’altro sopra il giunto inferiore.
Per il pollice il sensore è uno solo sul giunto inferiore.
sensori di flessione
sensori di contatto
Infine ci sono gli accelerometri utilizzati per il movimento e il rilevamento dell’orientamento. Pe le lettere J e Z movimenti della mano specifici sono l’unico modo per differenziarle, mentre per lettere come G e Ql’unica differenza sta nell’orientamento della mano: G ha il palmo rivolto lateralmente, Q ha il palmo rivolto verso il basso.
accelerometri
Unità di rilevamento
La seconda parte del progetto è l’unità di rilevamento che è collegata all’uscita dei sensori del guanto ed è montata sul braccio dell’utente attraverso l’uso di velcro.
unità di rilevamento
L’unità di rilevamento o detection unit ha tre componenti fondamentali.
1. Circuiti Comparatori
Nove Schmitt Trigger costruiti utilizzando amplificatori operazionali con feedback positivo. Questi nove sensori flessibili vengono digitalizzati attraverso un convertitore da analogico a digitale (ADC).
Ogni sensore di flessione ha un unico livello per rivelare le fessioni delle dita e necessita circuiti comparatori individuali con potenziometri.
circuiti comparatori
2. Trasmettitore Radio
La seconda parte della Unità di rilevamento è il trasmettitore radio che trasmette le lettere del linguaggio dei segni alla stazione base: questo consente all’oggetto di essere wireless e facilmente trasportabile. Il ricetrasmettitore utilizzato è il WI.232FHSS-25-FCC-R Radiotronix.
trasmettitore radio
3. ATMega644 Microcontrollore
Le uscite degli accelerometri sono immesse nel microcontrollore dove vengono lette tramite chip ADC. I sensori del circuito comparatore e i sensori di contatto sono anch’essi collegati al microcontrollore attraverso varie porte. Lo scopo principale dei microcontrollori è analizzare i dati dei sensori per verificare se il gesto corrisponde ad una lettera e inviare le richieste di trasmissione al trasmettitore.
microcontroller
Base Station
La stazione base riceve gli input attraverso il ricevitore radio ed emette i risultati attraverso uno schermo LCD, un set di altoparlanti e attraverso un collegamento seriale USB li passa ad un computer. Si compone di due parti principali:
base station
Radio ricevitore
Il ricevitore radio filtra le trasmissioni in arrivo in base a un indirizzo specificato dall’unità di rilevamento. Riceve la lettera gestuale dal guanto e la invia al microcontrollore della stazione base.
ATMega644 Microcontrollore
Questo secondo microcontrollore è posizionato nella stazione base e riporta la lettera/gesto su un display LCD collocato accanto ad essa. Le lettere ricevute scorrono in forma testuale da destra verso sinistra e dall’alto verso il basso, consentendo alla persona con cui l’utente sta parlando di leggere facilmente la traduzione del linguaggio. Converte anche il testo in audio attraverso gli altoparlanti. Infine, si collega al computer tramite la porta seriale e si interfaccia con una porta COMM.
lettere in scorrimento su display LCD
Software
I software utilizzati per il progetto sono Matlab, Java e C per interfacciarsi con i microcontrollori e i sensori del guanto.
C viene usato per programmare i microcontrollori, leggere gli input dai sensori sul guanto, riconoscere la lettera e trasmettere le informazioni alla stazione base.
Matlab è utilizzato per interfacciarsi con la stazione base tramite la connessione alla porta seriale.
Infine, Java è utilizzato per implementare un gioco di linguaggio dei segni per gli utenti. Il gioco è simile a un gioco di battitura. Lettere cadono dall’alto dello schermo e l’utente tenta di rappresentare la lettera in segno gestuale prima che questa attraversi la linea in basso. Questo gioco può aiutare gli utenti a imparare il linguaggio dei segni in un ambiente divertente competitivo.
flusso
Pacman
Nostradamus
Magical Cat Adventure
Snake