Unione in testa? Tutti gli errori dei sondaggi

La guerra dei sondaggi continua. Una guerra, chiariamolo subito, sconveniente e triste. Si discute più di andamenti che dei problemi dei cittadini. E in questa guerra la prima vittima è proprio la ricerca sociale e la credibilità degli strumenti scientifici di indagine dell'opinione pubblica. Le seconde vittime, invece, sono i cittadini (in particolare i lettori dei giornali) che, quotidianamente, si trovano di fronte percentuali e stime a dir poco discutibili.
Nell'affidabilità di un sondaggio è importante non solo il numero di interviste effettuate, ma anche il campione, il metodo di rilevazione, il questionario (non la singola domanda ma la loro costruzione logica, coerente e consequenziale) fino alla rappresentazione dei risultati. Quelli che escono sulla stampa, invece, presentano carenze e errori metodologici.
Le carenze. Ne abbiamo esaminati alcuni, tra quelli pubblicati su organi di informazione (presenti sul sito www.sondaggipoliticoelettorali.it), con un criterio temporale. Il primo aspetto che abbiamo analizzato è la quota di rispondenti alla domanda sul partito che avrebbero votato. Non è stato sempre facile reperire l'informazione (o per lo meno non l'abbiamo sempre trovata, come nel caso del sondaggio dell'Abacus). Oppure le informazioni non erano complete e chiare, come nel caso dell'ultima rilevazione dell'Ipr Marketing (www.repubblica.it) che riporta una percentuale di incerti pari al 17% ma non quanti hanno dichiarato che non andranno a votare. Se i potenziali astensionisti sono compresi tra gli incerti significa che l'Ipr ha effettuato le stime dei voti ai partiti sull'83% degli intervistati. Però alle ultime elezioni politiche i voti validi sono stati solo il 75% dell'intero corpo elettorale. È credibile che la percentuale di quanti «dichiarano» il voto sia superiore a quella di coloro che effettivamente andranno alle urne? A parte Ispo ed Ekma, comunque, tutte le società di sondaggio indicano quote di rispondenti superiori al tasso di partecipazione elettorale degli ultimi anni. Vuol dire che i cittadini si esprimono meglio al telefono che nell’urna? E perché tutti (tranne Psb) stimano percentuali di voti alle coalizioni tra loro molto simili (al massimo 1,2% di differenza) mentre la percentuale di incerti e di astensionisti sono così diverse (fino a 17 punti di differenza)?
Tutti, ma proprio tutti, presentano stime di voto che non prendono in considerazione gli incerti e quanti hanno dichiarato che non sarebbero andati a votare. Nelle elezioni reali i voti ai partiti sono indicati in percentuale sui «voti validi» perché è su quella base che sono assegnati i seggi. Ma i sondaggi misurano le quote di consenso e non i voti reali. Non considerare gli incerti presuppone che questi non voteranno o che il loro voto si distribuirà proporzionalmente al peso di ciascun partito. Però è un presupposto che non ha alcun riscontro empirico.
Gli incerti Se si escludono gli incerti, inoltre, non è significativo l'andamento del consenso nel tempo. Infatti, la quota di incerti tende a diminuire man mano che ci si avvicina alle elezioni e, conseguentemente, le percentuali si riferiscono a basi di rispondenti tra loro diverse.
Una corretta rappresentazione dovrebbe mettere insieme sia le quote di consenso calcolate sulla base di tutti gli intervistati (e il suo andamento nel tempo) sia le percentuali ai partiti (senza però fare raffronti temporali). Oltre al problema degli incerti c'è quello dell'errore campionario. L'errore non è un elemento di cui non si può non tener conto nell'analisi dei dati.
Sempre l'Ipr, nel commento ai dati di 2 rilevazioni consequenziali, ha scritto (www.repubblica.it): «La rincorsa della Cdl, dopo due mesi di progressi, talora consistenti, talora impercettibili ma comunque costanti, nell'ultima settimana si arresta...». Il dato su cui si basa l'analisi dell'Ipr è la variazione dello 0,1% nell'arco di una settimana (calcolato comunque sempre escludendo gli incerti). L'Ipr ha effettuato la sua stima intervistando 1.000 soggetti. L'errore campionario, in questo caso, è pari al +/- 3,1%, quindi ben superiore alla variazione registrata dalla società di sondaggi. Qualsiasi studente di statistica o di sociologia sa bene che è un errore macroscopico e non si azzarderebbe mai a sostenere una tesi simile nel corso di un esame universitario.
Abbiamo, infine, rielaborato i dati delle società prese in esame e abbiamo messo a confronto i risultati, tenendo conto sia degli incerti che dell'errore statistico. E i dati, in qualche modo, contraddicono molte delle analisi fatte in questo periodo.
Forbice ridotta. Innanzitutto, se si escludono gli incerti, la distanza tra i due schieramenti da un massimo del 4,7% (registrato dall'Ipr) scende al 3,9%. Se poi nell'analisi si considerano anche le oscillazioni determinate dal possibile errore campionario risulta che il centro-sinistra ha una quota di consenso che oscilla tra il 36,5% e il 46,3% mentre il centrodestra tra il 28,9% e il 42,4%. Nessuna rilevazione presa in esame (tenendo presente l'errore campionario) può far dire con certezza che il centrosinistra in questo momento è in vantaggio sul centrodestra. O viceversa. Cautela? No, semplicemente correttezza. E i numeri, rappresentati in modo corretto, sono esplicativi di per sé e ciascuno può trarre le sue considerazioni. Semplice, anche se poco «editoriale».

Infine c'è una questione di stile: nei commenti e nelle analisi sarebbe opportuno usare un po' più il condizionale e un po' meno la perentorietà dell'indicativo. Non fosse altro per non apparire come certi maghi che vendono conforto spacciandolo per magia.
*sociologo