Wielkość błędu oszacowania wyznaczonego na podstawie próby zależy od trzech czynników.
1. Rozkład zmiennej w próbie
Rozkład zmiennej w próbie decyduje o tym, na ile jest ona zróżnicowana. Im bardziej, tym trudniej o precyzyjne oszacowanie poszukiwanej wielkości. Jeśli więc odsetek wskazań na daną kategorię wyniesie 50% (maksymalne zróżnicowanie w próbie), to wartość błędu oszacowania jego wielkości w populacji będzie większa niż wówczas, gdyby wyniósł on 30% czy 20%. Zróżnicowanie w próbie jest tym większe, im trudniej wyróżnić jakąś dominującą grupę. Jeżeli 90% respondentów wskaże odpowiedź 'TAK', a 10% 'NIE', to można powiedzieć, że badane osoby w zasadzie się nie różnią i wskazują 'TAK'. Jeżeli natomiast wskazania rozłożą po równo na 'TAK' i 'NIE', to oznacza, że w grupie istnieją duże różnice zdań. Warto zwrócić przy tym uwagę, że
błędy liczone są dla każdej kategorii zmiennej (np. każdej partii, gdy chodzi o preferencje polityczne)
osobno, a nie - jak często niesłusznie się podaje - dla całej próby.
2. Przyjęty poziom ufności
Kolejnym czynnikiem decydującym o wielkości błędu jest przyjęta wielkość tzw.
poziomu ufności. Jest to parametr arbitralnie ustalany przez badaczy przed przystąpieniem do wnioskowania o populacji. Określa on, z jakim prawdopodobieństwem wyznaczony na podstawie próby przedział ufności powinien obejmować rzeczywistą wartość (patrz Rysunek 3).
Rysunek 3. Wpływ poziomu ufności na błąd i przedział ufności
Warto podkreślić, że wcześniej użyte pojęcia przedziału ufności i błędu są ze sobą ściśle związane. Na podstawie wyników z próby najpierw określa się bowiem wielkość błędu dla założonego
poziomu ufności i dopiero na tej podstawie wyznacza sam
przedział ufności.
W przypadku badania odsetka wskazań jakiejś kategorii najbezpieczniej jest oczywiście powiedzieć, że jego wartość w populacji na pewno mieści się w granicach od 0% do 100%. Takie stwierdzenie zawsze jest prawdziwe, ale też zupełnie bezużyteczne. Dlatego realizujemy badania społeczne, które pozwalają ten przedział zawęzić wokół rzeczywistej wartości. Wyższy poziom ufności przekłada się na większy błąd i szerszy przedział ufności, ale też większą pewność, że wyniki z próby obejmują wartość w populacji.
W badaniach społecznych najczęściej poziom ufności przyjmuje wartość 0,95. Oznacza ona, że wyznaczony na tej podstawie przedział ufności obejmuje z prawdopodobieństwem 95% szukaną w populacji wartość. Innymi słowy, przeciętnie na 100 losowych prób w aż 95 przedział ufności będzie obejmował poszukiwaną wartość, a tylko w 5 chybi. Przykładowo, jeżeli oszacowanie w próbie dla odsetka wskazań jakiejś kategorii wynosi 50% i wyznaczony dla poziomu ufności 0,95 błąd wynosi 3%, to przedział ufności zawiera wartości od 47% do 53%. Co więcej, obejmuje on rzeczywistą wartość z prawdo- podobieństwem 95%.
3. Wielkość próby
Ostatnim i zarazem najważniejszym czynnikiem decydującym o wielkości błędu jest liczebność próby. Im jest ona większa, tym mniejszy jest błąd. Prezentowany poniżej wykres ilustruje, jak zmniejsza się on dla prób liczących od 100 do 3000 respondentów, gdy wynik z próby wynosi dokładnie 50%, a przyjęty poziom ufności 0,95. Widzimy, że wraz ze wzrostem liczebności próby, spada błąd oszacowania. Oznacza to, że coraz węższe zakresy wyników z prób obejmują wartość w populacji. Zwiększa się więc dokładność wyników (patrz Rysunek 4).
Rysunek 4. Błąd oszacowania odsetka wskazań (50%) dla prób liczących od 100 do 3000 respondentów
Poniżej znajduje się tabela prezentująca wartości błędu obliczonego dla różnych liczebności prób oraz różnych odsetków wskazań na daną kategorię, przy stałym poziomie ufności równym 0,95.
Tabela 1. Przykładowe wielkości błędów wyrażone w % w zależności od liczebności próby i odsetka wskazań na daną kategorię
Liczebność próby | 10% | 20% | 30% | 40% | 50% |
|
100 | ± 5,88 | ± 7,84 | ± 8,98 | ± 9,60 | ± 9,80 |
200 | ± 4,16 | ± 5,54 | ± 6,35 | ± 6,79 | ± 6,93 |
300 | ± 3,39 | ± 4,53 | ± 5,19 | ± 5,54 | ± 5,66 |
400 | ± 2,94 | ± 3,92 | ± 4,49 | ± 4,80 | ± 4,90 |
500 | ± 2,63 | ± 3,51 | ± 4,02 | ± 4,29 | ± 4,38 |
600 | ± 2,40 | ± 3,20 | ± 3,67 | ± 3,92 | ± 4,00 |
700 | ± 2,22 | ± 2,96 | ± 3,39 | ± 3,63 | ± 3,70 |
800 | ± 2,08 | ± 2,77 | ± 3,18 | ± 3,39 | ± 3,46 |
900 | ± 1,96 | ± 2,61 | ± 2,99 | ± 3,20 | ± 3,27 |
1000 | ± 1,86 | ± 2,48 | ± 2,84 | ± 3,04 | ± 3,10 |
2000 | ± 1,31 | ± 1,75 | ± 2,01 | ± 2,15 | ± 2,19 |
3000 | ± 1,07 | ± 1,43 | ± 1,64 | ± 1,75 | ± 1,79 |
Warto zwrócić uwagę na próbę liczącą 1000 osób. Tradycyjnie w badaniach społecznych dobiera się właśnie taką liczbę respondentów. Jest to niejako standard i to nieprzypadkowy. Zauważmy, że dla próby liczącej 1000 osób oraz odsetka wskazań wynoszącego 50% (największe możliwe zróżnicowanie odpowiedzi),
błąd wynosi ± 3,10%. To bardzo mało. Zauważmy również, że dalsze zwiększanie próby jest mało efektywne. Kolejny 1000 respondentów (czyli razem 2000) pozwala obniżyć błąd zaledwie o około jeden punkt procentowy (do około ± 2,19). Są to dwa podstawowe powody (niewielki błąd przy maksymalnym zróżnicowaniu oraz niewielka efektywność dalszego zwiększania liczebności próby), dla których powszechnie stosuje się taką wielkość prób.
Wiedząc już, jaki jest wpływ różnicowania zmiennej w próbie oraz wielkości próby, warto jeszcze raz powrócić do kwestii poziomu ufności. Poniżej prezentujemy trzy rysunki, które pokazują, jak zmienia się wielkość błędu w zależności od odsetka wskazań oraz wielości próby (liczącej od 100 do 1000 respondentów) dla trzech przyjętych poziomów ufności: 0,90; 0,95 oraz 0,99. Warto zauważyć, że błąd jest najwyższy dla małych prób oraz wysokiego odsetka wskazań. Co więcej, zwiększa się on również wraz ze wzrostem poziomu ufności. W sytuacji, gdy wynosi on 0,99, a więc możemy być prawie pewni naszego wyniku, błąd jest największy. Oznacza to, że większą pewność otrzymujemy kosztem mniejszej dokładności.
Rysunek 5. Błąd oszacowania dla poziomu ufności 0,90
Rysunek 6. Błąd oszacowania dla poziomu ufności 0,95
Rysunek 7. Błąd oszacowania dla poziomu ufności 0,99
Na koniec należy podkreślić, że na wielkość błędu, a więc też liczebność próby, zupełnie nie ma wpływu wielkość populacji. Niezależnie od tego, czy badamy zbiorowość mieszkańców Niemiec (80 mln) czy Polski (38 mln), dokładność oszacowania dla próby liczącej 1000 osób będzie zawsze taka sama.