Statistická a systematická chyba

Častým dotazem na výzkumníky je následující otázka: “Kolik je nutné sesbírat v rámci výzkumu dotazníků, aby byl výzkum reprezentativní?“

Abychom pochopili správnou odpověď, je třeba začít rozlišovat statistickou a systematickou chybu.

Statistická chyba je ve výzkumu vždy přítomná, nelze ji odstranit. Dochází k ní díky zobecňování výsledků na celý zkoumaný vzorek. Jedná se o hru náhody. Můžeme si to uvést na jednoduchém příkladu. Všeobecně víme, že pokud házíme mincí, tak šance, že padne rub je 50%. Tento předpoklad však při malém počtu pokusů a při vlivu náhody nemusí platit. Pokud hodíme mincí například pouze pětkrát, lehce se nám stane, že rub padne jen jednou. Na základě těchto výsledků bychom mohli usuzovat, že pravděpodobnost toho, že rub padne je pouze 20%. To je právě již zmiňovaná hra náhody. Teprve při větším počtu pokusů (jakmile začne platit zákon velkých čísel) by se již pravděpodobnost blížila právě 50%.

Zákon velkých čísel začíná platit již zhruba od 100 dotazníků. Pro určení potřebného počtu dotazníků je v praxi důležité, jak rozsáhlé analýzy druhého stupně chce klient realizovat. Například, pokud by zadavatel chtěl, aby byly výsledky spolehlivé pro všech 14 krajů ČR („V kraji Vysočina máme 2x větší podíl, než v Karlovarském kraji, …“), měl by vzorek mít minimálně 14x 100 respondentů.

Statistická chyba tedy nemá nic společného s reprezentativitou výzkumu, tu ovlivňuje chyba systematická.

Systematické chyby jsou závislé na koncepci, kvalitě a pečlivosti celého průzkumu. Mezi systematické chyby řadíme všechna zkreslení, která nejsou způsobena aplikací zákona velkých čísel. Jejich velikost lze jen velmi obtížně vyčíslit. Právě tento fakt z těchto chyb činí velmi nebezpečnou skutečnost.

Rozlišujeme tyto systematické chyby: chyby koncepce výzkumu, chyby formulace otázek, chyby vzniklé z nereprezentativnosti dotázaného vzorku, chyby vzniklé při sběru dat a chyby zpracování.

Pokud má výzkum závažné systematické chyby, je nepoužitelný, i kdyby byl proveden na několika stovkách respondentů.

Systematická chyba více ovlivňuje přesnost výsledků než chyba statistická. Je důležité přistupovat zodpovědně již k přípravě výzkumu – vybrat správnou skupiny pro dotazování, správně sestavit dotazník, spolehlivě vést sběr dat a sesbíraná data pak také zanalyzovat za využití správný metod.

Brand Brothers během 25 let působení na trhu stále pracuje na omezování systematických chyb. Uvědomujeme si jejich dopad a metodickou a pečlivou prací je omezujeme na minimum. O postupech naší práce si můžete přečíst více zde.

Statistická chyba klesá s druhou odmocninou

Na tomto místě je nutno poznamenat, že statistická chyba klesá s druhou odmocninou respondentů. Pokud se tedy rozhodnete místo 200 respondentů oslovit 800 respondentů, statistická chyba nebude v tomto případě čtyřikrát menší, ale pouze dvakrát. Proto se s větším počtem respondentů cena výzkumu zvyšuje rychleji než jeho spolehlivost. S touto zákonitostí je třeba pracovat, aby se klientovi nenabízely nesmyslně drahé metodiky, které nepřinášejí odpovídající hodnotu.