I limiti dei sondaggi, e l'excusatio non petita di Renato Mannheimer

Lodevole il tentativo di Renato Mannheimer di fare un minimo di chiarezza sul mondo - a volte molto dilettantesco - sia di fare che di leggere i sondaggi. L'articolo di Mannheimer per lavoce.info, che riproduciamo in gran parte, è meritorio, ma desta in noi il sospetto che Mannheimer abbia calcato la mano principalmente sui meccanismi che rendono invitabili certi errori, e poco sul tasso di dilettantismo che affligge sempre più il mondo dei sondaggi.

Persone che una sera di addormentano Paleontologhe Oceanografiche (?) o giocatori di rugby, e il giorno dopo si svegliano "sondaggisti". Giornalisti che commentano seriamente questa roba, senza forse aver mai letto un bignamino sulle metodologie delle ricerche sociali o sulle statistiche in genere; "opinionisti" che sulla base di questa roba sono inchiavardati sulle poltroncine dei vari talk-show, intenti h24 a trarre auspici su sondaggini spesso fatti senza avere neanche una dose pediatrica di professionalità.

Noi riproduciamo l'articolo di Mannheimer, ma in calce scriveremo anche la nostra opinione sugli aspetti non trattati da Mannheimer, non senza metterci una certa dose di malizia. Tafanus

Quello che i sondaggi fotografano (Renato Mannheimer per lavoce.info)
I sondaggi sono uno strumento di marketing molto efficace per le aziende. Più difficili quelli sulle intenzioni di voto. Perché fotografano le opinioni degli elettori in un momento diverso da quello della consultazione. E in un quadro politico che muta rapidamente. Costi e qualità delle ricerche.
L’IMMAGINE DI UN MOMENTO - Le ultime elezioni politiche sono state caratterizzate da risultati per molti versi sorprendenti. Ma anche da un acceso dibattito sul ruolo dei sondaggi e sulla loro capacità previsiva degli esiti. In particolare, le differenze tra gli esiti della consultazione e alcune rilevazioni demoscopiche pubblicate in quella occasione hanno messo in discussione l’attendibilità in generale delle ricerche di opinione e, di conseguenza, la loro utilità.
Riguardo a quest’ultima, occorre dire che decenni di esperienza hanno mostrato come i sondaggi rappresentino uno strumento di marketing preciso ed efficace. Tutte le aziende che hanno a che fare con i consumi utilizzano le ricerche per comprendere gli orientamenti dei loro clienti reali e potenziali. Traendone insegnamenti spesso importanti e strategici. Da questo punto di vista, i sondaggi costituiscono dunque un asset prezioso per tutti gli attori economici e sociali.
Per i sondaggi sulle intenzioni di voto, invece, vi è più discussione. Uno dei motivi è che, in questo specifico caso, appare assai più difficile prevedere i comportamenti futuri degli elettori. Come si sa, infatti, i sondaggi riescono, sia pure con certi limiti, a delineare la situazione in un certo momento. In qualche modo, si può dire che essi scattano una sorte di fotografia (anche se – vedremo tra breve perché – un po’ mossa) che descrive le preferenze e gli atteggiamenti nell’istante in cui la ricerca viene realizzata. Purtroppo (o, secondo alcuni, per fortuna), da qualche anno, gli orientamenti di voto variano molto velocemente nel tempo e si cristallizzano di fatto solo il giorno stesso della consultazione.
Per ciò che riguarda le ultime elezioni, ad esempio, più di un terzo della popolazione (35 per cento) ha dichiarato di avere deciso realmente cosa votare negli ultimi giorni precedenti il voto. E un altro 30 per cento lo ha fatto nelle ultime due settimane. Insomma, più di metà della popolazione ha delineato la propria opzione all’ultimo momento. Ciò significa che tutti i sondaggi effettuati, per esempio, un mese prima non potevano individuarne le scelte. Un tempo la situazione era molto diversa poiché il voto rappresentava spesso l’espressione di una sorta di identità e variava poco nel tempo. Oggi le cose stanno diversamente. In particolare, i sondaggi da noi effettuati negli ultimi giorni (quando però non potevano essere pubblicati) avevano individuato la forte crescita del Movimento 5 Stelle, sino a stimarlo al 23 per cento, quando nelle rilevazioni di un mese prima era attorno al 16 per cento.

Il risultato del movimento di Beppe Grillo è stato ancora superiore, pari al 25 per cento, dovuto in parte ai tanti che hanno deciso all’ultimo momento. Ma, forse, la distanza di due punti era accettabile.
LA QUALITÀ E I COSTI DEL CAMPIONE - Si è detto che i sondaggi costituiscono una fotografia che non può prevedere il futuro. Ma essa – si è detto anche questo – è imprecisa. Prima di tutto, a causa del margine di approssimazione statistica legata al campionamento. Tanto più il campione è piccolo, tanto è più ampio l’errore campionario. Su di un campione di mille casi (e, spesso, quelli pubblicati sui giornali o alla televisione sono ancora inferiori) l’errore si aggira sul 3 per cento. Ciò significa che se un partito è stimato al 10 per cento e poi prende il 7 per cento, si tratta di un’approssimazione accettabile. Per tutti, tranne che per gli esponenti di quel partito, che si vedrebbero, ad esempio, negare l’accesso al Senato. Occorre allora effettuare sondaggi su campioni più ampi (ma ciò costa di più e non sempre i media vogliono affrontare la spesa) o accettare l’esistenza di questa approssimazione.
Va detto anche che esiste un problema di qualità dei sondaggi. Essi devono essere effettuati secondo criteri rigorosi. Ad esempio, utilizzando solo intervistatori professionisti e, nel caso di inchieste telefoniche, considerando nel campione non solo gli abbonati al telefono fisso, ma anche i possessori di telefoni cellulari. Ancora, non è possibile, sempre per motivi di campionamento, avvalersi solamente di internet. Si tratta di questioni ben note. Che comportano però significativi costi aggiuntivi nella realizzazione del sondaggio. Che non sempre i media sono disposti ad affrontare, ciò che li spinge talvolta a utilizzare sondaggi non eseguiti a regola d’arte.
Ma i sondaggi sulle intenzioni di voto hanno un problema in più: quello della sincerità nelle risposte. Di solito, le persone raccontano volentieri e con franchezza i loro gusti e le loro preferenze. Ma quando si tratta del voto, scattano le reticenze o il “dover essere”. Facciamo un esempio: nelle rilevazioni precedenti le ultime elezioni, si domandava anche: “cosa ha votato alle elezioni precedenti, del 2008?”. La percentuale di chi ha risposto Pdl si aggirava normalmente attorno al 24 per cento, quando questo stesso partito ottenne a quelle consultazioni il 38 per cento. C’era, dunque, una quota di elettori che, per vari motivi, nascondevano la loro scelta. Di solito, questa tendenza viene fronteggiata “pesando” le risposte in relazione ai reali esiti delle elezioni precedenti. Ma ciò presuppone un quadro politico relativamente stabile. Quando, come è successo in questo caso, muta repentinamente (il successo dell’M5S ha comportato spostamenti di milioni di voti), la tecnica della ponderazione non funziona più efficacemente.
Questi e altri motivi portano – e hanno portato – a imperfezioni (o addirittura errori) nei sondaggi che tentano di prevedere il voto. Sarebbe opportuno quindi ribadire una volta ancora – noi lo facciamo sempre – che le ricerche di opinione non possono stimare i comportamenti futuri, ma solo fotografare quelli attuali.

Quello che Mannheimer non ha detto

Opera meritoria, quella di Mannheimer, di chiarire ai profani - senza entrare in un eccesso di tecnicismi - quali siano i tanti elementi che possono rendere aleatori i risultati dei sondaggi. Mannheimer ha chiarito molti elementi distorsivi, ma ha un po' schivato alcuni elementi ben noti, che potrebbero notevolmente migliorare la qualità dei sondaggi. Così come ha attribuito molta colpa degli errori dei sondaggi alla distanza temporale fra sondaggi e voti. Verissimo. In un paio di settimane molte cose possono cambiare. Ad esempio la campagna MPS, e/o quella sull'IMU, giocate nelle ultime settimane.
Ma il problema che Mannheimer evita di sottolineare è che non sbagliano solo i sondaggi, effettuati sulle intenzioni di voto vecchie di settimane rispetto al giorno delle elezioni, in un mondo in cui l'informazione "instant" (internet, TV "all-news"), può spostare rapidamente le intenzioni di voto. Errori molto gravi sono compiuti anche negli exit-poll, che sono effettuati lo stesso giorno del voto, e attraverso i quali si chiede di ripetere il voto DATO su un facsimile di scheda, e non di parlare delle "intenzioni" di voto futuro.
E allora inviterei Mannheimer, di spiegare, in un eventuale, prossimo articolo sull'argomento, altri punti, di cui gli istituti di sondaggi sono ben consapevoli.
LA STRATIFICAZIONE DEL CAMPIONE E' RAFFAZZONATA - Come abbiamo dimostrato in un articolo-inchiesta sui metodi di reclutamento degli intervistandi delle società che effettuano sondaggi con metodologia CAWI (Computer Aided Web Interview), con questa metodologia non esiste il minimo controllo sulla composizione del campione, e sulla sua rappresentatività dell'universo degli elettori. Io mi sono registrato con lo stesso istituto, con diversi indirizzi email, come giovane e come vecchio, come uomo e come donna, come dirigente e come operario, come pluri-laureato e come semianalfabeta. Mai incontrato filtri o ostacoli. E' evidente che un ragazzino smanettatore può registrarsi quante volte vuole, e poi votare, votare, votare... Con sondaggi che ormai sono attestati sulle 800/1000 interviste, 5/6 smanettatori esperti possono modificare drasticamente i risultati di un sondaggio.
SONDAGGI MISTI CAWI/CATI - La metodologia CATI (Computer Aided Telephone Interview) e CAWI vengono sempre più spesso usate contemporaneamente, ma NESSUN istituto si è mai preso la briga di dire in che proporzione stanno le interviste fatte con metodologie così diverse. Al limite, che dovesse fare 990 interviste CATI e 10 CAWI, potrebbe dichiarare (e lo fa) di aver adottato una metodologia mista CATI-CAWI.
IL CAMPIONE DISTORTO DEGLI ELENCHI TELEFONICI - Una volta il campionamento si faceva prendendo l'universo degli elettori dai registri degli iscritti alle liste elettorali, in maniera casuale (ad esempio, prendendo il n° 100, 200, 300 eccetera). Oggi si fanno a partire dagli elenchi telefonici (normalmente di abbonati al fisso, perchè gli elenchi dei cellulari sono in teoria non accessibili). Noi non sappiamo se in Italia ci sia qualche elemento distorsivo - come quello accertato negli USA - dove il fisso è prevalente fra i ceti meno abbienti e fra le persone anziane e "conservatrici". Metodologia che ha fatto parlare per mesi di testa a testa fra Obama e i repubblicani. Come è noto, Obama ha stravinto con una larghissima maggioranza, anche in stati assegnati dai sondaggisti come "quasi certissimi" stati repubblicani.
L'EFFETTO "VERGOGNA" - Ha ragione Mannheimer. Questo effetto è ben noto. I "partiti non appetibili" sul piano dell'immagine vengono penalizzati nei sondaggi, premiati nelle urne. Emblematico in caso del PdL citato da Mannheimer, che per decenni ha preso pià voti di quanti avrebbe dovuto prenderne sulla base dei sondaggi. Ci si vergogna di dire che si vota per il partito dei condoni, delle disuguaglienze, delle mazzette, del bunga-bunga, quindi ci si rifugia nell'area del "non-voto", del "non ho ancora deciso", o indicando un altro partito. Su questo effetto non si possono introdurre automatismi di correzione sui nuovi partiti, sui quali non esiste una storia consolidata di rapporto fra voto dichiarato e voto effettivo (Grillo, Ingroia, Monti). Ma era facile correggere almeno in parte i dati di Grillo in una direzione, e del perbenista Monti in senso opposto, sulla semplice esperienza che diventa "asset". Nessun alibi sugli errori "da vergogna" o "da orgoglio" circa partiti consolidati (PdL, PD, Lega).
I SONDAGGISTI "EMBEDDED" - Qui il discorso non riguarda la tecnica, ma l'etica. Come è noto attraverso sondaggi "virali" si "motivano le truppe". Ci sono istituti (non faccio i nomi, ma tutti sappiamo di chi si parla) che campano la vita facendo sondaggi per un solo committente (spesso sono sia "esecutori" che "committenti"... Lavorano per curiosità o per la gloria?) , e che danno sistematicamente questo committente sistematicamente in crescita, sempre con valori diversi dalla realtà, ma anche dalla media dei sondaggisti più seri.seri (quelli che lavorano secondo ben definiti vincoli metodologici).
IL MARGINE D'ERRORE - Come sa chiunque si occupi di sondaggi professionalmente, non ha alcun senso parlare - come ha fatto Mannheimer, semplificando, di margine d'errore del +/- 3%. Per un campione di 1000 interviste valide, questo fatidico 3% vale solo per confronti binari, con valori vicini alla metà del campione. Ma Mannheimer bene avrebbe fatto a spiegare che non ha alcun senso parlare del margine d'errore (la c.d. forchetta"), se non si associa questo valore ad un altro: il c.d. "livello di confidenza".

Quando un istituto di ricerca cita quale sia il livello di confidenze per un certo sondaggio (svolto con certi numeri), e dice che il sondaggio ha un margine d'errore di +/- tre punti, PER UN LIVELLO DI CONFIDENZA DEL 95%, va tradotto così: l'ampiezza del campione è tale che se ripetiamo cento volte la stessa indagine con la stessa metodologia, nel 95% dei casi il margine d'errore sarà contenuto in questo +/- 3%. E' evidente che sull'ignoranza di questo parametro si può giocare molto. Basta non parlarne, e si può continuare a parlare della mitica "forchetta", senza dire che abbassare il numero degli intervistati a 500, e ACCONTENTANDOSI di un livello di confidenza magari dell'80% anzichè dell'abituale standard del 95%, si possono risparmiare un sacco di soldi... Ricordo una serie di "sondaggi" di Euromedia a livello regionale (Senato) su campioni di 500 intervistati.
IL MARGINE D'ERRORE NON E' UGUALE PER TUTTI - Errato non spiegare che la famosa "forchetta" non è uguale per tutti. Vale solo per i grandi valori, non per i piccoli. Un esempio? Se parliamo di PD parliamo di un sub-campione di circa 300 persone. Se parliamo di Lega parliamo di 40 casi. E' evidente come sia molto più facile trovare "per caso" valori casualmente sballati di uno/due rispondenti sulla Lega (la cui forchetta in numeri assoluti è di 2,4 elettori), che non trovare valori casualmente sballati di 180 rispondenti per il PD. Quindi l'errore sui piccoli partiti è enormemente più ampio e facile che non quello sui grandi partiti.
ALTRE PROBLEMATICHE - Le citiamo solo "per titoli", riservandoci di farne oggetto di un altro articolo:

• Assenza di indagini-pilota sui questionari

• Qualità e addestramento degli intervistatori

• Desk-research sugli intrecci incestuosi fra istituti e committenti

• Assenza di controlli ex-post fra istituti di ricerca, previsioni fatte, scostamenti dal voto reale.

Tafanus