Im dłużej pracuję z danymi, tym bardziej ostrożny robię się wobec wniosków opartych na garstce obserwacji. Nie dlatego, że małe próbki są bezwartościowe — czasem to wszystko, co mamy. Ale dlatego, że w małej próbce przypadek ma wyjątkowo dużo miejsca do popisu.
Wystarczy kilka nietypowych obserwacji, żeby wywrócić cały obraz do góry nogami. Widziałem to wielokrotnie: dane z dziesięciu osób, które sugerują wyraźny trend, znikający bez śladu, gdy próbka rośnie do stu. To nie znaczy, że dziesięć osób kłamało. To znaczy, że przypadek na małej skali potrafi wyglądać dokładnie jak prawidłowość.
Teraz, zanim uwierzę w jakikolwiek wzorzec, pytam najpierw: na ilu obserwacjach to stoi? To pytanie oszczędziło mi już niejeden pochopny wniosek.
Dodaj komentarz