Pierwszy model, jaki zbudowałem, wyglądał genialnie — dopasowywał się do danych niemal idealnie. Byłem z niego dumny, dopóki nie sprawdziłem go na danych, których wcześniej nie widział. Wtedy okazało się, że nauczył się nie wzorca, tylko szumu — zapamiętał dane, zamiast je zrozumieć.
Walidacja krzyżowa nauczyła mnie rozróżniać te dwie rzeczy. Dzieląc dane na części i sprawdzając model na fragmentach, których nie widział podczas uczenia, dostajemy dużo uczciwszy obraz tego, jak poradzi sobie z czymś nowym — zamiast łudzić się wynikiem, który tak naprawdę tylko powtarza to, co model już znał.
Ta lekcja wyszła poza modele statystyczne. Zacząłem podchodzić podobnie do własnych przekonań — pytając, czy sprawdziłyby się w sytuacji, której jeszcze nie widziałem, czy tylko dobrze pasują do tego, co już znam.
Dodaj komentarz