I Big Data e la mia esperienza Big Dive

Lavoro nel campo della sicurezza informatica per una grande compagnia del settore energetico (in pratica mi occupo di proteggere la riservatezza, l’integrità e la consultabilità delle informazioni) e da poco ho partecipato al terzo evento Big Dive tenutosi a Torino. Big Dive è un evento unico di formazione per la nuova generazione di programmatori, una sorta di palestra  per smanettoni informatici guidati da esperti di 3 aree principali: Programmazione, Visualizzazione e Scienza dei Dati. In sostanza, Big Dive serve a potenziare le competenze tecniche necessarie per immergersi nell’universo dei Big Data e trarne tutti i possibili vantaggi.

In genere la sicurezza informatica di un’azienda è strettamente legata alla ricerca di soluzioni legate ai Big Data. Un sistema SIEM (dall’inglese Security Information and Event Management) raccoglie tutto ciò che accade in tempo reale e lo salva in memoria. Ogni secondo vengono eseguite centinaia di migliaia di azioni che generano dati provenienti da diversi dispositivi: per esempio ogni login utente, ogni pacchetto scaricato da un firewall, ogni minaccia rilevata da un IDS è rilevante dal punto di vista della sicurezza. Si genera un’immensa quantità di dati, soprattutto nelle grandi compagnie, che deve essere analizzata in modo da poter distinguere attività legittime da minacce dannose e reagire prontamente con appropriate contromisure. Un sistema antispam fa affidamento sulle tecniche di machine learning per distinguere messaggi spam da email sicure anti spam e i moderni antivirus adottano un approccio euristico, utilizzando anch’esse il machine learning per localizzare i malware.

Oltre alla sicurezza, anche la ricerca di informazioni può trarre beneficio dal big data analytics: per esempio, OSINT (open source intelligence) è la materia che ha lo scopo di desumere le informazioni rilevanti dai dati pubblici disponibili. Il web è una miniera di dati, da Wikipedia ai social network o ai siti di notizie, sicuramente un’analisi innovativa delle informazioni prese dal web potrebbe favorire nuovi approfondimenti.

Partecipare a Big Dive

La motivazione per la quale ho deciso di partecipare al Big Dive è dovuta a varie considerazioni personali e ad una curiosità nei confronti delle materie tecniche: inoltre, la natura interdisciplinare delle competenze richieste per immergersi nei Big Data, permette di scoprire nuove prospettive di diverse branche di conoscenza e link inaspettati tra le stesse. Durante le 5 settimane del Big Dive ho acquisito competenze in tutte e 3 le aree: Scienza dei dati, Programmazione e  Visualizzazione.

Scienza dei Dati – consiste nelle teorie di base e le conoscenze matematiche ed è suddivisa in 4 materie principali: statistica, machine learning, natural language processing (Elaborazione del linguaggio naturale) e network science.
Programmazione – la parte che riguarda la programmazione consiste nell’esplorazione pratica di tutti gli strumenti e le librerie che vengono utilizzate per implementare l’analisi dei Big Data. Il principale linguaggio di programmazione che ho imparato è Python, con tutte le librerie per l’elaborazione scientifica e la scienza dei dati; Ho usato Hadoop e MapReduce per la computazione parallela e ho acquisito nozioni riguardo i database NoSql utili quando i database tradizionali non sono sufficienti in termini di performance.
Visualizzazione – possiedo nozioni di JavaScript e di librerie d3 per la visualizzazione ed ho esercitato durante l’evento la mia creatività; è in questo caso che entra in gioco un approccio più “artistico” oltre alla competenze tecniche di programmazione.

“Big Dive serve a potenziare le competenze tecniche necessarie per immergersi nell’universo dei Big Data e trarne tutti i possibili vantaggi”

L’ultima settimana l’abbiamo dedicata ad un progetto entusiasmante che coinvolgeva dati reali. Personalmente mi sono occupato di un dataset che contiene informazioni economiche che riguardano compagnie italiane. È stata una buona occasione per “imparare facendo”; lavorare in team su un progetto reale è importante per testare le varie ipotesi effettuando esperimenti reali sui dati.

Cosa ho imparato al Big Dive

Per me il corso è stato un’occasione per incontrare persone interessanti di varie nazionalità, sia insegnanti che studenti, con background culturali e professionali sicuramente molto diversi tra loro. Parlare con loro mi ha arricchito sotto vari punti di vista, trattandosi di persone con un alto livello di preparazione. In generale l’organizzazione del Big Dive è stata eccellente, con il giusto equilibrio tra attività teoriche e pratiche
In ultimo, ma non per questo meno importanti, sono da citare la location e il caffè eccellente!

Registrati come Freelance