Pamiętam moment, w którym zbudowałem model regresji z kilkunastoma starannie dobranymi predyktorami, dumny z jego kompletności — a współczynniki, które z niego wyszły, kompletnie nie miały sensu. Znak niektórych był odwrotny do tego, czego intuicyjnie się spodziewałem.
Okazało się, że kilka moich predyktorów mierzyło w praktyce niemal to samo, tylko innymi słowami. Model, próbując rozdzielić między nimi zasługę za wyjaśnianie wyniku, gubił się i produkował niestabilne, czasem absurdalne oszacowania — mimo że sam model jako całość wciąż dobrze przewidywał.
To nauczyło mnie, że więcej predyktorów nie zawsze znaczy lepszy model. Czasem lepszy model to taki, z którego świadomie usunięto zmienną, bo i tak powtarzała informację, którą miała już inna.
Dodaj komentarz