Che opinione hanno gli italiani di un certo prodotto, di un programma televisivo, di una decisione politica? Basta commissionare un sondaggio per ottenere la risposta! Siamo abituati a vederne continuamente, in TV, sui giornali, sui social… ma quanto sono affidabili? Intervistare un gruppo limitato di persone ci consente davvero di trarre conclusioni sulle opinioni di un gruppo molto più ampio, addirittura sull’intera popolazione? Dipende… Ce ne parla Francesca Carfora. 

Proviamo a capire insieme come funzionano i sondaggi di opinione. Un passaggio chiave nella realizzazione di un sondaggio è proprio la costruzione di un campione adeguato. Chi va intervistato? Chi è in grado di rispondere al quesito che ci interessa? Qual è il target del sondaggio? E soprattutto, poiché non è possibile intervistare tutti, quanti ne scegliamo, e come?

IL CAMPIONE: quanti e quali soggetti intervistare?

Il buon senso ci suggerisce che la precisione nella stima dell’informazione cercata dipende dal numero di intervistati (la dimensione del campione). La statistica ci permette di quantificare questa precisione: se il campione selezionato è rappresentativo dell’intera popolazione, ad esempio degli italiani adulti, bastano 1000 intervistati per ottenere un margine di errore non superiore al 3% (con un grado di fiducia del 95%: significa che nel 95% dei campioni l’errore massimo sulla nostra stima non supera questo valore).

La rappresentatività è proprio il nodo essenziale: in statistica, si realizza scegliendo a caso gli intervistati nell’intera popolazione (campionamento casuale semplice), o meglio in ciascuno dei sottogruppi in cui la popolazione può essere divisa (campionamento casuale stratificato). I gruppi di interesse dipendono dalla domanda: potrebbe essere rilevante rappresentare adeguatamente i diversi generi, gruppi di età, condizioni lavorative, livelli di istruzione, residenza in piccoli/grandi centri …

Un campionamento così accurato non è spesso possibile e comunque porta a un sondaggio più lento e più costoso per la difficoltà di intervistare le persone selezionate. Le società di sondaggi solitamente adottano una scorciatoia: costruiscono un campione di intervistati non scelto a caso ma che rispetti comunque la distribuzione dell’intera popolazione per età, sesso e altre categorie di interesse. Questa scelta però ha delle conseguenze: le persone selezionate per l’intervista condividono caratteristiche comuni (abitudini, reperibilità, disponibilità) per cui la variabilità nel campione intervistato è minore di quella nell’intera popolazione e quindi l’incertezza dei risultati può essere sottostimata.

L’INTERVISTA: come viene effettuata?

Se osservate con attenzione le tabelle riportate in TV o sui giornali, scoprirete in basso alcune sigle: CATI/CAMI, CAPI, CAWI. Sono le indicazioni sulle modalità con cui sono state effettuate le interviste. Sono essenzialmente interviste telefoniche, classiche o su appuntamento, oppure online attraverso un link ricevuto per mail. Ognuna di queste tecniche ha vantaggi e svantaggi, per cui spesso si usano in modo combinato per ridurne gli effetti distorsivi (torneremo su questo punto).

QUALI DOMANDE?
Accenniamo solo alla stesura del questionario, ma è ovvio che il modo di porre le domande è molto importante. Tra le caratteristiche da considerare ci sono:

• neutralità e obiettività per evitare di indirizzare le risposte
• semplicità e chiarezza per essere comprensibili da tutti
• una scala di livelli adeguata (ad esempio “per niente”, “abbastanza”,“molto”, oppure “da 1 a 10”,…)
• esaustività (le risposte possibili devono comprendere tutti i casi)

COSA PUÒ ANDARE STORTO?

Tante cose… Parliamo di bias, o di errori di distorsione, che portano a risultati meno affidabili. Anche se il campione è stato selezionato in modo corretto, ci sono ancora dei punti critici. Ne elenchiamo solo alcuni:

• bias di non risposta: molte persone rifiutano di rispondere ai sondaggi o non è possibile contattarle, per cui il campione rappresenta non l’intera popolazione, ma solo la sua parte disponibile, che potrebbe avere caratteristiche particolari. Ad esempio, le interviste telefoniche (CATI) e quelle online (CAWI) raggiungono differenti sottopopolazioni (chi ha il telefono fisso o chi è in grado di compilare un form online). Questo errore inoltre non diminuisce all’aumentare del numero di interviste.
• bias di risposta: alcune persone forniscono risposte che non rispecchiano le loro opinioni: per incomprensione delle domande, per imbarazzo su questioni delicate, per influenzare i risultati accentuando posizioni estreme, per chiudere rapidamente un’intervista troppo lunga,…
• bias di rappresentazione: in specifiche situazioni, ad esempio nelle elezioni politiche e amministrative o nei referendum, i votanti non sono distribuiti in modo omogeneo nella popolazione: in alcuni casi l’astensionismo è maggiore tra i giovani, in altri tra i residenti nelle periferie, o tra gli anziani… Se il campione non riesce a tenerne conto adeguatamente, le previsioni sono molto lontane dai risultati effettivi.

Anche la formulazione delle domande e il loro ordine, come pure l’interazione con l’intervistatore, possono condizionare l’affidabilità del sondaggio, o nel caso peggiore pilotarne le risposte.

LA “FORCHETTA”, ovvero il margine di incertezza nelle previsioni del sondaggio.

Abbiamo cominciato dicendo che un campione di 1000 persone può essere sufficiente a garantirci una “forchetta” del 3%, cioè un errore di 3 punti percentuali in più o in meno. Ma se il campione non è scelto a caso, se c’è un alto tasso di “non risposte”, se vogliamo confrontare le risposte in due occasioni successive per misurare i cambi di opinione, … la situazione si complica notevolmente. Precisiamo questo punto con un esempio.

Ci chiediamo se le persone che preferiscono il cono alla coppetta siano in aumento. Vogliamo cioè stimare un trend: confrontiamo le risposte raccolte in due tempi per dedurne un andamento nel tempo delle preferenze e scopriamo che i sostenitori del cono sono passati dal 35% al 36%. Cosa concludere?

Purtroppo per noi, la differenza tra i valori stimati, quella che ci permetterebbe di capire se c’è stato un aumento o una diminuzione, ha un errore maggiore di quello sui singoli valori. Per campioni indipendenti (cioè se intervistiamo due gruppi diversi) addirittura l’incertezza sulla differenza è la somma delle incertezze sui due dati. Questo significa, in particolare, che una crescita/decrescita inferiore al margine di errore non può essere considerata significativa.

In sintesi, l’errore sui risultati di un sondaggio comprende certamente una parte ineliminabile (il 3% citato su 1000 intervistati), dovuta al fatto che osserviamo un campione invece che l’intera popolazione. Oltre a questa esistono, come abbiamo visto, altre sorgenti di errore e queste non sono sempre facilmente quantificabili. Anche se i sondaggisti si impegnano costantemente per controllarle, esse influenzano comunque le loro conclusioni per cui l’incertezza totale sui risultati è in generale più alta. Due esempi tra tutti: tra i 168 sondaggi commissionati prima del referendum del 2016 per l’uscita dell’UK dall’Unione Europea, meno di un terzo (55) riuscì a prevedere correttamente la Brexit, e solo 16 di essi con le percentuali effettive (52:48). Ma gli errori più clamorosi riguardano le elezioni presidenziali USA, dove sia nel 2016 che nel 2020 i sondaggi sottostimarono gravemente il sostegno degli elettori a Trump, che nel 2016 venne eletto contro le previsioni. Malgrado le successive analisi e correzioni nelle procedure di sondaggio, anche nel 2020 l’errore di valutazione fu di circa 4 punti percentuali in quasi tutti gli stati. Secondo uno studio condotto dall’American Association for Public Opinion Research, questo è stato il peggior risultato degli ultimi 40 anni e le sue cause non sono ancora del tutto chiare: un forte afflusso di nuovi votanti, una maggiore polarizzazione politica, gli effetti della pandemia, la ritrosia degli elettori di Trump a rispondere ai sondaggi potrebbero aver generato la “tempesta perfetta” per i sondaggisti.

SE VOLETE SAPERNE DI PIÙ
In Italia, i sondaggi di opinione diffusi pubblicamente (ad esempio nei talk show televisivi) devono dichiarare la loro modalità di realizzazione: come è fatto il campione, quanto è numeroso, come vengono condotte le interviste… Tutti questi dati sono accessibili su un sito dedicato della Presidenza del Consiglio dei Ministri – Dipartimento per l’Informazione e l’Editoria.