Często zadawane pytania
Często zadawane pytanie pochodzą z Przewodnika ESOMAR/WAPOR Sondaże opinii publicznej i publikowanie wyników badań.
-
Co to jest sondaż opinii?
-
Kiedy sondaż jest „naukowy”?
-
Jak w badaniu opinii dobiera się próbę, żeby była naprawdę reprezentatywna?
-
Czy instytuty badawcze robią coś jeszcze, żeby zapewnić reprezentatywność próby?
-
Czy badania innego typu zawsze są niepoprawne?
-
Czy ankieta telefoniczna lub internetowa, w której bierze udział np. milion osób nie jestdokładniejsza niż sondaż opinii na próbie 1000 osób?
-
Jak to możliwe, że można zbadać, co myślą miliony ludzi, jeśli pytamy tylko 1000 czy 2000 respondentów?
-
Czy w badaniu obejmującym 1 000 czy 2 000 osób nie ma jednak ryzyka popełnienia błędu próby (sampling error)?
-
W poprzedniej odpowiedzi mowa jest o próbie losowej przy wskaźniku realizacji próby wynoszącym 100%. Przecież to zupełnie nierealne...
-
Czy faktyczny margines błędu nie jest więc znacznie większy?
-
To chyba oznacza, że sondażom w ogóle nie można ufać?
-
Czy można ufać sondażom internetowym?
-
Zdarza się, że badania realizowane na ten sam temat przez różne renomowane ośrodki dają bardzo różne wyniki. Jak to możliwe?
-
Czy sposób zadawania pytania ma wpływ na odpowiedzi?
-
Gdy widzę lub czytam raport z sondażu, to skąd mam wiedzieć, czy mogę go potraktować serio?
1. Co to jest sondaż opinii?
Sondaż opinii to naukowe i reprezentatywne badanie surveyowe, którego celem jest pomiar poglądów określonej grupy – na przykład wyborców w danym kraju (w przypadku większości sondaży politycznych), rodziców czy członków związków zawodowych itp.
2. Kiedy sondaż jest „naukowy”?
Dwie główne cechy naukowych badań sondażowych to:
a) respondenci zostali dobrani przez instytut badawczy zgodnie z jasno określonymi kryte riami tak, aby zapewnić reprezentatywność, czyli nie zgłaszają się sami do sondażu,
b) pytania zostały sformułowane w sposób zrównoważony. Jeżeli na przykład w zbiorowości (populacji) badanej 52% osób stanowią kobiety, a 30% to osoby powyżej 55. roku życia, wtedy naukowe badanie sondażowe będzie reprezentowało te grupy w odpowiedni sposób, a pytania będą zadawane w sposób zrównoważony, nie naprowadzając respondenta na żadną konkretną odpowiedź.
3. Jak w badaniu opinii dobiera się próbę, żeby była naprawdę reprezentatywna?
Służą temu dwie zasadnicze metody. Pierwsza z nich to losowy dobór próby, a druga to dobór kwotowy. W przypadku doboru losowego instytut badawczy posługuje się spisem losowo wybranych numerów telefonicznych bądź adresów e-mailowych (tak dzieje się w sondażach telefonicznych i niektórych badaniach internetowych) albo też jego ankieter odwiedza losowo wybrane adresy lub osoby, których nazwiska figurują w określonym wykazie, jak np. spis osób uprawnionych do głosowania (tak dzieje się w niektórych
badaniach polegających na wywiadach bezpośrednich). Następnie instytut badawczy kontaktuje się z osobami, które może zastać pod tym i numerami telefonów lub pod tymi adresami, stosując procedurę doboru losowego, i zwraca się do nich z prośbą o wzięcie udziału w badaniu. Z kolei dobór kwotowy polega na ustalaniu wielkości kontrolnych dla określonych kategorii (jak np. wiek i płeć), a zada niem ankietera jest poszukiwanie osób posiadających założone cechy. Kwotowy dobór próby jest często wykorzystywany
w sondażach przeprowadzanych metodą wywiadów bezpośrednich („twarzą w twarz”). Dobór kwotowy stosuje się także w niektórych sondażach internetowych, aby dobrać reprezentatywną próbę z bazy danych o osobach, które wcześniej podały tego typu informacje na swój temat. Kwotowy dobór próby można wykorzystywać także w sondażach telefonicznych opartych na metodzie losowej, aby z gospodarstwa domowego wybrać osobę, z którą zostanie przeprowadzony wywiad – przyspiesza to realizację badania.
4. Czy instytuty badawcze robią coś jeszcze, żeby zapewnić reprezentatywność próby?
Tak. Prawidłowo dobrane próby losowe i kwotowe zapewniają przybliżony obraz społeczeństwa, ale z różnych przyczyn mogą zawierać nieco więcej przedstawicieli określonych grup społecznych i nieco zaniżoną liczbę przedstawicieli innych grup. Zwykle
dzieje się tak, że instytuty badawcze pytają respondentów nie tylko o ich poglądy, ale także proszą o podanie informacji o nich samych. Informacje te są następnie wykorzystywane do porównania próby badawczej na przykład z danymi statystycznymi zebranymi w spisie powszechnym. Tak więc „surowe” dane liczbowe z sondażu mogą zostać nieco skorygowane („w dół” lub „w górę”), aby odpowiadały profilowi badanej zbiorowości. Jeżeli na przykład po zakończeniu sondażu okaże się, że przebadano 100 członków danej grupy demograficznej, ale powinno być ich 110 (w sondażu obejmującym np. 1 000 lub 2 000 osób), w takiej
sytuacji badacze dokonują „ważenia” odpowiedzi tej grupy, licząc każdą osobę spośród tych 100 respondentów jako 1,1 osoby. Dzięki temu publik owane wyniki procentowe powinny odzwierciedlać strukturę badanej zbiorowości.
5. Czy badania innego typu zawsze są niepoprawne?
Nie. Podobnie jak zepsuty zegar dwa razy na dobę pokazuje prawidłową godzinę, tak samo zdarza się, że nienaukowe badania sondażowe czasem dają poprawne wyniki procentowe. Prawdopodobieństwo, że wyniki te będą niepoprawne, jest jednak znacznie wyższe. Najbardziej rozpowszechnioną formą nienaukowych badań sondażowych są sondaże telefoniczne prowadzone przez stacje telewizyjne „na żywo” w trakcie programu, a także wszelkie ankiety internetowe wypełniane przez internautów na zasadzie dobrowolnego udziału. Inicjatywy takie są obarczone dwiema wadami. Po pierwsze – próba składa się z osób, które same zadzwoniły lub wypełniły ankietę. Tego typu inicjatywy zwykle przyciągają osoby mające emocjonalny stosunek do tematu, a więc nie jest to próba reprezentatywna. Po drugie – w takich sondażach rzadko uwzględnia się dodatkowe informacje (np. wiek i płeć), które pozwalałyby zorientować się, z jaką próbą mamy w tym przypadku do czynienia.
6. Czy ankieta telefoniczna lub internetowa, w której bierze udział np. milion osób nie jest dokładniejsza niż sondaż opinii na próbie 1 000 osób?
Niezupełnie. Próba obciążona („skrzywiona”) zawsze pozostanie próbą obciążoną bez względu na to, ile liczy sobie osób. Jeden z najbar dziej znanych przykładów takiej próby pochodzi z wyborów prezydenckich w USA zorganizowanych w 1936 r. Jedno z czasopism (Literary Digest) rozesłało 10 milionów pocztówek z pytaniem, jak adresaci będą głosować w wyborach. Nadesłano niemal 2,3 mln odpowiedzi, na podstawie których stwierdzono, że Alfred Landon wyprzedza Franklina Roosevelta w stosunku 57% do 43%. Czasopismonie zgromadziło jednak informacji, które pozwoliłyby mu ocenić jakość uzyskanej w ten sposób próby oraz skorygować (czyli „zważyć”) dane dla grup, które były w niej nadmiernie oraz niedostatecznie reprezentowane. Ponieważ wspom
niane czasopismo rozesłało swoje pocztówki głównie do osób posiadających telefony i samochody, w uzyskanej w ten sposób „próbie” znalazło się mało osób z klasy robotniczej. Pewien młody badacz, George Gallup, zgromadził znacznie mniejszą próbę (chociaż jej liczebność, wynosząca 50 tys. osób, była znacznie wyższa niż próby wykorzystywane standardow o w czasach współczesnych), ale zadbał o to, aby była ona reprezentatywna. Dzięki temu poprawnie wskazał, że Roosevelt jest na dobrej drodze do miażdżącego zwycięstwa.
7. Jak to możliwe, że można zbadać, co myślą miliony ludzi, jeśli pytamy tylko 1 000 czy 2 000 respondentów?
Można to przyrównać do sytuacji, kiedy szef kuchni ocenia wielki kocioł zupy po zaczerpnięciu tylko jednej łyżki. Jeśli zupa została dobrze wymieszana, dzięki czemu ilość zaczerpnięta łyżką jest odpowiednio „reprezentatywna”, wtedy do dokonania oceny
wystarcza jedna łyżka zupy. Badania sondażowe opierają się na takiej samej zasadzie: uzyskanie reprezentatywnej próby można z grubsza przyrównać do wymieszania zupy. Z kolei badanie nienaukowe jest jak nie wymieszany kocioł zupy. Szef kuchni może zjeść nawet dużą ilość zupy z wierzchu, ale mimo to wyrobi sobie fałszywą opinię, jeśli niektóre składniki opadły na samo dno. Trik z próbowaniem zupy nie polega na tym, aby jej dużo zjeść, lecz żeby ją dobrze wymieszać. Z kolei istotą naukowego badania sondażowego jest zapewnienie takiej próby, która będzie reprezentatywna, a niekoniecznie bardzo duża.
8. Czy w badaniu obejmującym 1 000 czy 2 000 osób nie ma jednak ryzyka popełnienia błędu próby (sampling error)?
Tak, ryzyko błędu losowego związanego z doborem próby rzeczywiście występuje, ale teoria statystyki pozwala nam je oszacować. Wyobraźmy sobie kraj, w którym opinie na jakiś temat rozkładają się równo po połowie: 50% mieszkańców ma jakieś zdanie na ten temat, a drugie 50% ma zdanie dokładnie przeciwne. Teoria statystyki mówi nam, że w losowo dobranej próbie składającej się z 1000 osób, gdzie wskaźnik uzyskanych odpowiedzi wynosi 100%, w 19 na 20 przypadków sondaż przyniesie poprawne wyniki z dokładnością do 3 punktów procentowych. Inaczej mówiąc, dla każdej z dwóch opinii wynik sondażu będzie wynosił przynajmniej 47%, lecz nie więcej niż 53%. Istnieje jednak 1 szansa na 20, że wyniki sondażu „wyjdą” poza ten zakres. Przy próbie 2 000 osób w 19 przypadkach na 20 wyniki sondażu znajdą się w przedziale 2 punktów procentowych.
9. W poprzedniej odpowiedzi mowa jest o próbie losowej przy wskaźniku realizacji próby wynoszącym 100%. Przecież to zupełnie nierealne...
Słuszna uwaga. Wiele sondaży nie ma charakteru losowego, a odsetki realizacji próby (tzw. response rate) są często znacznie niższe – w wielu krajach wynoszą one znacznie poniżej 50%, jeśli realizacja trwa tylko kilka dni.
10. Czy faktyczny margines błędu nie jest więc znacznie większy?
Być może tak, a być może nie. Poniżej podajemy dwa skrajne, krańcowo różne przykłady dla tego zagadnienia. Powróćmy do naszego przykładu i z nów wyobraźmy sobie państwo, w którym opinie na jakiś temat rozkładają się po połowie. Załóżmy, że każdy, kto wyznaje pogląd A, mieszka w północnej połowie kraju, a każdy wyznający pogląd B mieszka w jego południowej połowie. Jeżeli więc badacze zadbają o to, żeby połowa każdego sondażu była przeprowadzona na północy, a druga na południu, to
uzyskane wyniki będą bardzo dokładne. Projektowanie struktury badań sondażowych w taki właśnie sposób nazywamy warstwowaniem. Jeśli warstwowanie przeprowadza się poprawnie, może ona przyczynić się do zwiększenia dokładności wyników badania.A teraz przyjmijmy inne założenie na temat naszego wyobrażonego, równo podzielonego kraju. Załóżmy, że w porównaniu z osobami wyznający mi pogląd B osoby wyznające pogląd A znacznie częściej należą do mniejszości religijnej lub etnicznej i częściej odmawiają odpowiedzi na pytania. Jeśli instytut badawczy nie zdaje sobie sprawy z tego zniekształcenia i nie zna jego rozmiarów, może otrzymać wynik wskaz ujący, że pogląd B jest znacznie bardziej rozpowszechniony niż pogląd A. Jest to przykład tak zwanego błędu systematycznego. Aby zmierzyć „prawdziwy” margines błędu, musielibyś my wziąć pod uwagę błąd losowy
z uwzględnieniem wpływu warstwowania, a także możliwe błędy systematyczne. Problem polega na tym, że uzyskanie pewności co do rzeczywistego wpływu stratyfikacji i błędów systematycznych na wyniki jest trudne, a wręcz niemożliwe. (Gdyby znany był wpływ
wszystkich błędów systematycznych, kompetentny instytut badawczy po prostu dokonałby korekty otrzymanych wyników, aby skompensować ich wpływ.)
11. To chyba oznacza, że sondażom w ogóle nie możnaufać?
Nie. Sondaże nie są być może narzędziem idealnym, ale mimo to stanowią najlepszy sposób pomiaru tego, co myśli społeczeństwo. W większości krajów, w których wyniki sondaży można porównać z rzeczywistymi wynikami (na przykład po wyborach), okazuje się, że właściwie zaprojektowane sondaże dają zwykle dokładne wyniki w przedziale 3 punktów procentowych, nawet jeśli czasami wychodzą poza ten margines błędu. Ponadto w większości przypadków sondaże opinii są dobrym probierzem aktualnego stanu opinii publicznej, nawet jeśli margines błędu jest większy. Jeżeli dobrze zaprojektowany, reprezentatywny sondaż opinii pokaże, że społeczeństwo jest podzielone w jakiejś kwestii w proporcjach 70%-30%, to nawet margines błędu wynoszący 10 punktów procentowych nie zmieni faktu, że jeden pogląd jest znacznie bardziej rozpowszechniony niż drugi. Trzeba jednak pamiętać, że jeśli w kandydaci w wyborach idą „łeb w łeb”, w takiej sytuacji przewaga sondażowa (na próbie 1-2 tys. osób) wynosząca poniżej 5 punktów procentowych nie może nam powiedzieć o tym, kto rzeczywiście był liderem w momencie realizacji badania, nie mówiąc już o gwarancji wygranej za ileś dni, tygodni czy miesięcy.
12. Czy można ufać sondażom internetowym?
Odpowiedź zależy od tego, spośród jakich osób dobieramy próbę. Odpowiedź brzmi tak samo dla sondaży internetowych, jak dla sondaży telefonicznych i tradycyjnych („twarzą w twarz”). Jeśli za pomocą któregoś z wymienionych trybów realizacji można uzyskać próbę reprezentatywną, odpowiedź brzmi: tak, takiemu sondażowi można ufać. Istnieją miejsca i zbiorowości, w przypadku których ankieterowi bardzo trudno jest uzyskać reprezentatywną próbę za pomocą wywiadów bezpośrednich. Analogicznie, istnieją takie miejscai zbiorowości, gdzie tylko określone kategorie osób mają telefon czy dostęp do Internetu. Oczywiście jeśli wpływ trybu badania nie może zostać skorygowany przy pomocy stratyfikacjii ważenia, wtedy taka metoda nie daje próby reprezentatywnej, a wynikom takiego badanianie należy ufać. W niektórych przypadkach zasięg Internetu jest na tyle duży, że wywiady prowadzone przez Internet będą dobrą albo wręcz najlepszą metodą przeprowadzenia sondażu. Ponieważ jednak w większości krajów dostępność Internetu nadal nie jest zbytwysoka i nie zapewnia reprezentatywności, do sondaży internetowych mających badać
poglądy całego społeczeństwa należy podchodzić z dużą dozą ostrożności. W sondażach internetowych wykorzystuje się panele
(stałe grupy) osób, które wyraziły zgodę na to, aby być zapraszane do udziału w sondażach. Przy ocenie jakości panelowej próby
internetowej pomóc może podręcznik ESOMAR-u zawierający odpowiedzi na 26 pytań klientów zamawiających badania internetowe ( The ESOMAR 26 Questions to Help Research Buyers of Online Samples).
13. Zdarza się, że badania realizowane na ten sam temat przez różne renomowane ośrodki dają bardzo różne wyniki. Jak to możliwe?
Poza błędem losowym związanym z doborem próby istnieje jeszcze szereg innych możliwych przyczyn takiej sytuacji.
a) Być może porównywane badania zostały przeprowadzone w różnych momentach, choć ich wyniki są publikowane równocześnie. Jeśli poglądy wielu osób są niestałe i podatne na zmiany wskutek różnych wydarzeń, w takiej sytuacji może zdarzyć się, że oba
badania przyniosły poprawne wyniki, ale między datą wcześniejszego i późniejszego badania doszło do zmiany nastrojów społecznych.
b) Mogło się zdarzyć, że w każdym z badań zastosowano odmienną definicję reprezentowanej grupy (np. różny wiek, regiony, grupy etniczne itp.).
c) Badania mogły zostać zrealizowane za pomocą odmiennych metod. Wyniki zmieniają się w zależności od tzw. efektu trybu realizacji badania (mode effect). To oznacza, że niektóre osoby mogą – świadomie bądź nie – podawać odmienne odpowiedzi
w zależności od tego, czy odpowiadają na pytania zadawane bezpośrednio przez
ankietera, czy samodzielnie, bez udziału i obecności ankietera wypełniają kwestionariusz internetowy/e-mailowy lub nadesłany pocztą. Wyniki niektórych badań wskazują, że w przypadku pewnych drażliwych tematów anonimowe ankiety wypełniane samodzielnie przez respondentów mogą zap ewnić większą szczerość odpowiedzi niż wywiady bezpośrednie („twarzą w twarz”) czy telefoniczne.
d) Mogło się zdarzyć, że w porównywanych sondażach zadawano odmienne pytania. Sposób formułowania pytań ma duże znaczenie, szczególnie w przypadku tematów, w których wiele osób nie ma silnie sprecyzowanych poglądów. Jeśli mamy wrażenie, że wyniki badań się różnią, zawsze warto sprawdzić dokładne brzmienie pytań.
e) W sondażach występuje tzw. „efekt kolejności pytań”. W jednym badaniu analizowane pytanie mogło być zadawano „na zimno”, na samym początku sondażu. Z kolei w drugim badaniu to samo pytanie zadano w sytuacji. kiedy respondent był już „rozgrzany”, bo wcześniej odpowiedział na szereg pytań na ten sam temat. Różnice między dwoma zbiorami wyników pojawiają się czasem wtedy, gdy wiele osób nie ma sprecyzowanych poglądów. Zdarza się, że niektórzy ludzie udzielają odmiennych odpowiedzi w zależności od tego, czy pytanie zadaje się im nieoczekiwanie czy po wcześniejszym zachęceniu do zastanowienia się nad o kreślonymi aspektami danego zagadnienia.
14. Czy sposób zadawania pytania ma wpływ na odpowiedzi?
Wiedza o tym, jak należy formułować pytania, jest bardzo obszerna. Opiera się ona na tym, co wiemy o przetwarzaniu informacji przez ludzi. W dużej mierze jest to jednak sprawa zdrowego rozsądku. Istotne jest, aby przyjrzeć się dokładnemu brzmieniu zadawanego pytania oraz – w miarę możliwości – sprawdzić pytania zadane wcześniej. Pytania mogą zawierać w sobie pojęcia, które naprowadzają respondenta na określone odpowiedzi, naprzykład: „Wydaje się, że na ulicach jest mniej policji, a wie
le osób z okolicy obawia się wzrostu przestępczości – czy sądzi Pan/Pani, że w tej okolicy jest za mało patrolipolicyjnych?” Bywają też pytania zawierające więcej niż jedno pojęcie, ale tylko odpowiedzi dotyczące jednego z nich znajdują się później w raporcie. Możemy na przykład zapytać: „W jakim stopniu władze miasta radzą sobie z korkamiulicznymi i brakami w transporcie publicznym?”. Może się jednak zdarzyć, że odpowiedzi na tak zadane pytanie zostanąprzedstawione w raporcie jako wskaźnik obaw dotyczących transportu publicznego. Tego rodzaju pytania nie dostarczą nam jasnej i sensownej odpowiedzi, co ludzie naprawdę myślą o policji czy transporcie publicznym. Czynnikiem mającym wpływ na to, jak ludzie odpowiadają na pytania, jest oczywiście
kontekst, w jakim są one zadawane. Jeśli najpierw zadamy serię pytań o to, czy respondenci kiedykolwiek czuli się nieswojo w środkach transportu publicznego lub czy znają osobiście kogoś, kto został obrabowany na ulicy itp., a następnie zapytamy, czy respondent obawia się przestępczości, prawdopodobne więcej osób odpowie, że ma takie obawy niż gdyby to samo pytanie zostało zadane wcześniej. Posługując się danymi uzyskanymi z odpowiedzi na te go typu pytania, należy zdawać sobie
sprawę, że pytania były tendencyjne lub wieloznaczne, a tym samym odpowiedzi nie mogą poprawnie odzwierciedlać tego, co naprawdę myślą osoby zapytane. Omawiany typ pytań szczególnie upodobały sobie rozmaite grupy nacisku, które posługują się nimi, usiłując zwrócić uwagę mediów na swój punkt widzenia. Odpowiedzialni dziennikarze i komentatorzynie powinni relacjonować takich sondaży albo też przy relacjonowaniu ich wyników powinni zwrócić uwagę na pytania, które wprowadzają w błąd.
15. Gdy widzę lub czytam raport z sondażu, to skądmam wiedzieć, czy mogę go potraktować serio?
Należy sprawdzić następujące elementy:
a) Kto przeprowadził sondaż? Czy był to renomowany, niezależny instytut badawczy? Jeśli nie, to należy podchodzić do wyników ostrożnie. Jeśli nie jesteśmy pewni, sprawdzianem może być gotowość instytutu badawczego do udzielenia odpowiedzi na poniższe pytania. Renomowane ośrodki przekażą nam informacje niezbędne do oceny badania.b) Kto zapłacił za badanie i dlaczego zostało ono przeprowadzone? Jeśli badanie zostało przeprowadzone dla renomowanych mediów lub niezależnych badaczy, jest duża szansa na to, że zostało ono przeprowadzone bezstronnie. Jeżeli badanie zostało zrealizowane dla zleceniodawcy, który może być stronniczy (np. przedsiębiorstwo, grupanacisku czy partia polityczna), jest mimo wszystko szansa na to, że jest to rzetelne badanie(należy jednak poinformować czytelników, słuchaczy lub widzów, kim był zamawiający). Trafność sondażu zależy od tego, czy został on przeprowadzony przez ośrodek stosujący naukowe metody doboru próby i naukowe zasady tworzenia kwestionariuszy, czy zadawane pytania były bezstronne i czy dostępne są pełne informacje na temat zadanych pytań i uzyskanych wyników. Jeśli takie informacje są udostępniane, wtedy można ocenić jakość merytoryczną badania (która może być dobra lub zła). Jeżeli natomiast wspomniane informacje nie są podawane, do wyników badania należy podchodzić ostrożnie. Zawsze należy zwracać uwagę, czy sondaż nie zawierał tendencyjnych pytań oraz czy wyniki nie są prezentowane w sposób wybiórczy po to, aby uwypuklić poglądy klienta zamiast pełnego i obiektywnego przedstawienia stanu opinii publicznej.
c) Z iloma osobami przeprowadzono wywiady w tym badaniu? Im więcej osób, tym lepiej, ale naukowe badanie na niewielkiej próbie jest ZAWSZE lepsze niż badanie na dużej próbie w sytuacji, gdy respondenci zgłaszają się na ochotnika. Należy pamiętać, że całkowita wielkość próby nie zawsze jest jedyną istotną wielkością. Przykładowo, w badaniach dotyczących preferencji wyborczych często pokazuje się odpowiedzi z wyłączeniem tych respondentów, którzy odpowiedzieli „nie wiem/trudno powiedzieć”, a także respondentów, którzy raczej nie wezmą udziału w głosowaniu oraz tych, którzy nie chcieli ujawnić swoich preferencji. Dzięki wyłączeniu tych osób wyniki sondażu odzwierciedlają opinie najistotniejszej grupy (czyli tych, którzy raczej lub na pewno pójdą na wybory), jednakże liczba osób deklarujących swoje preferencje wyborcze może być znacznie mniejsza niż liczebność całej próby i – coza tym idzie – rośnie ryzyko popełnienia błędu próby. Na analogicznej zasadzie należy zachować ostrożność przy porównywaniu
podgrup – na przykład mężczyzn i kobiet. Błąd próby dla każdej z podprób może okazać się znacznie wyższy niż dla całej próby. Jeśli cała próba liczy 500 osób i składa się w równych częściach z mężczyzn i kobiet, margines błędu dla każdej płci (licząc tylko błędy losowe, a pomijając ewentualne błędy systematyczne) wynosi około 6 punktów procentowych.
d) Jak zostały dobrane osoby do badania? Czy wiadomo, kto został włączony do próby, a kogo pominięto? Jeśli autorzy sondażu twierdzą, że ich badanie jest reprezentatywne dla całego społeczeństwa (albo dla znaczącej jego części), to czy na pewno zastosowali jedną z metod opisanych wyżej w punktach 2, 3i 4? Jeśli uczestnicy sondażu zgłaszali się „na ochotnika” (np. byli to czytelnicy gazety/czasopisma albo widzowie telewizyjni, którzy z własnej inicjatywy pisali, dzwonili, pisali e-maile lub wysyłali SMS-y w trakcie programu), takiego sondażu NIGDY nie można przedstawiać jako badania reprezentatywnego. Jeśli sondaż został przeprowadzony tylko w pewnego typu miejscowościach, a inne zostały pominięte (np. tylko w miastach, z pominięciem wsi), tego rodzaju informacje należy wyraźnie zaznaczyć w każdym raporcie.
e) Kiedy został przeprowadzony sondaż?
Różne wydarzenia mają niekiedy ogromny wpływ na wyniki badań sondażowych. Przy interpretacji tych wyników należy uwzględnić także moment realizacji badania w odniesieniu do kluczowych wydarzeń. Czasem nawet najświeższe wyniki badań nie nadążają za rozwojem wypadków. Wyniki badania przeprowadzonego kilka tygodni czy miesięcy wcześniej mogą być całkowicie trafne w sytuacji, gdy odnoszą się na przykład postaw czy zachowań typowych dla danej kultury, ale nie dotyczy to sondaży dotyczących ważnych bieżących wydarzeń. Zawsze należy więc podawać datę przeprowadzenia badania (która może się różnić od daty publikacji wyników). Data realizacji jest szczególnie istotna w badaniach przedwyborczych, gdyż preferencje wyborcze mogą zmieniać się dynamic
znie aż do chwili, kiedy wyborca postawi krzyżyk na karcie do głosowania.
f) W jaki sposób przeprowadzono wywiady?
Istnieją cztery główne metody prowadzenia wywiadów: osobiście (bezpośrednio), telefonicznie, za pomocą ankiety e-mailowej lub przez Internet w trybie online. Każda z tych metod ma swoje wady i zalety. Sondaże telefonicznenie docierają osób, które nie mają
telefonów. Sondaże e-mailowe docierają tylko do tych, którzy mają dostęp do Internetu i własną skrzynkę e-mailową. Powodzenie wszystkich tych metod zależy od dostępności potencjalnych respondentów i ich dobrowolnego współudziału. Odsetki uzyskanych odpowiedzi (tzw. wskaźniki realizacji) bywają bardzo różne. Zawsze jednak renomowane ośrodki badawcze dysponują opracowanymi przez siebie technikami statystycznymi, które umożliwiają im poradzenie sobie z tymi problemami i przekształcenie tzw. danych surowych na reprezentatywne wyniki (por. pkt 3 i 4 wyżej).
g) O co pytano w sondażu?
Warto postarać się o uzyskanie dostępu do całego kwestionariusza, a nie tylko do pytań,
które zostały opublikowane. Renomowane instytuty badawcze publikują kwestionariusze na swoich stronach internetowych albo udostępniają je na żądanie. Na tej podstawie można stwierdzić, czy wśród pytań nie było pytań sugerujących. Należy ostrożnie podchodzić do wyników, jeśli wywiad został skonstruowany w sposób, który mógł naprowadzać respondenta na konkretny wniosek.
h) Czy wyniki analizowanego sondażu są zbieżne z wynikami innych badań?
W miarę możliwości warto sprawdzić inne badania i przekonać się, czy wyniki analizowanego sondażu są podobne, czy może bardzo się od nich różnią. Sondaże badające tę samą tematykę powinny przynosić podobne wyniki. Jeśli uzyskane odpowiedzi bardzo się różnią, przyczyny tego stanu rzeczy można wykryć na podstawie analizy kwestionariusza lub zastosowanej metody doboru próby.
i) Czy to byłpush poll?
Celem tego, co nazwano push poll, jest rozpowszechnianie pogłosek albo wręcz oczywistych kłamstw na temat przeciwników. Tego typu działania to nie sondaże, ale manipulacjapolityczna, którą prowadzi się pod pozorem badania opinii publicznej. W ramach push poll dzwoni się do dużej liczby osób z prośbą o udział w rzekomo prowadzonym sondażu. Następnie zadaje się „pytania”, które są tak naprawdę zawoalowanymi oskarżeniami wobec oponenta lub powtórzeniem pogłosek o jego postępowaniu w życiu osobistym bądź zawodowym. Chodzi o to, aby określone grupy respondentów usłyszały i zrozumiały oskarżenie zawarte w pytaniu, a nie o zebranie opinii. Tego typu „sondaże” nie mają żadnego związku z prawdziwymi badaniami opinii. Najlepszym sposobem obrony jest dowiedzieć się, kto je przeprowadził. Renomowane instytuty badawcze nie mają nic wspólnego z takimi sfingowanymi „sondażami”, które niestety rozpowszechniły się w ostatnich latach w wielu krajach.
j) Czy był to rzetelny sondaż typu exit poll?
To pytanie ma zastosowanie jedynie w przypadku wyborów. Prawidłowo skonstruowane badania typu exit poll (prowadzone z osobami wychodzącymi z lokali wyborczych) stanowią doskonałe źródło informacji o wyborcach w konkretnym głosowaniu. Dają one również
jedyną możliwość zbadania tych osób, które rzeczywiście przyszły na głosowanie, i tylko tych osób. Sondaże typu exit poll przeprowadza się z reguły zaraz po wyjściu wyborcy z lokalu wyborczego, co pozwala (w teorii) zbadać rzeczywiste zachowania wyborcze. Sondaże przedwyborcze – nawet jeśli są prowadzone w przeddzień głosowania – nie są w stanie uchwycić sytuacji, gdy wyborcy zmieniają decyzję w ostatniej chwili tzn. czy w ogóle pójdą na wybory i na kogo oddadzą swój głos. Jeśli sondaż exit poll
zostanie prawidłowo przeprowadzony, staje się doskonałym źródłem informacji o wyborcach. Odpowiada nie tylko na pyta nie „Kto wygrał?”, ale również umożliwia uzyskanie informacji typu „Kto głosował na zwycięzcę i dlaczego wygrał kandydat/partia A albo kandydat/partia B?” Sondaże tego typu charakteryzują się skomplikowanym schematem badawczym oraz znacznie wyższą liczbą wywiadów w porównaniu z sondażami przedwyborczymi – często są to dziesiątki tysięcy, a w niektórych krajach setki tysięcy wywiadów. W sondażach typu exit poll mamy do czynienia z czterema odrębnymi źródłami błędów (pozabłędami czysto losowymi):
Zdarza się, że zwolennicy jednego kandydata lub partii są bardziej chętni do ujawnienia swoich preferencji niż osoby popierająceinnych kandydatów czy partie. Zjawisko to, polegające na zróżnicowaniu poziomów braku odpowiedzi dla różnych grup społecznych (differential nonresponse) jest szczególnie trudne do dokładnego uchwycenia w sondażach tego typu.
Niektórzy ludzie są autentycznie przekonani, że oddali głos na danego kandydata czy partię, podczas gdy mogli nieumyślnie zagłosować nakogoś innego, oddać głos nieważny bądź (w przypadku krajów, w których stosuje się maszyny do głosowania nie doprowadzić całego procesu głosowania do pomyślnego końca.
Może się zdarzyć, że sondaż typu exit poll został przeprowadzony na próbie lokali wyborczych, która nie jest w pełni reprezentatywna. Nawet jeśli całkowita liczebnośćpróby jest bardzo duża (np. 5 000 lub więcej), może wystąpić efekt grupowania (clustering). Jeżeli na przykład wybieramy 50 lokali wyborczych, a w każdym z nich realizujemy kwestionariusz badawczy z 100 wyborcami, możemy mimo wszystko otrzymać nieprawidłowe wyniki, jeśli ogólne proporcje preferencji politycznych w tych 50 okręgach wyborczych są nawet tylko w pewnym stopniu „skrzywione”.
Mogą pojawić się trudności techniczne utrudniające prawidłowy dobór próby respondentów w miejscu głosowania – może to być spowodowane ingerencją członków lokalnej komisji wyborczej albo ograniczeniami prawnymi regulującymi dotyczącymi miejsca przebywania ankieterów. Renomowane instytuty badawcze podejmują duży wysiłek, aby uniknąć tego typu problemów. Inne agencje z kolei mogą przeprowadzać sondaże typu exit polls w minimalnej liczbie lokali wyborczych, wykorzystując ankieterów, którzy nie mają doświadczenia ani specjalistycznego przeszkolenia w zakresie tej metody prowadzenia badań.