Analiza i metrykiRównież: data mining bias, wielokrotne przeszukiwanie danych
Zniekształcenie oceny wynikające z wielokrotnego przeszukiwania lub ponownego wykorzystywania tych samych danych do wybierania atrakcyjnych reguł. Model może dopasować się do przypadkowych cech historii zamiast do powtarzalnego mechanizmu. Problem obejmuje również wielokrotne poprawianie strategii po zobaczeniu jej wyników na rzekomo niezależnym zbiorze. Różni się od look-ahead bias, choć oba błędy mogą występować razem.
Jak to działa
Zapisuj całą rodzinę prób: parametry, filtry, instrumenty i odrzucone wersje. Oddziel rozwój od końcowej oceny. Jeśli wielokrotnie zaglądasz do holdoutu, zaczyna on uczestniczyć w wyborze modelu i przestaje pełnić pierwotną rolę niezależnej kontroli.
Najczęstsza pomyłka
Wartość 92,3% w modelu nie oznacza, że konkretna wybrana strategia jest z takim prawdopodobieństwem fałszywa. Korekta wielokrotnego testowania pomaga, lecz nie usuwa przecieku informacji ani błędnego modelu wykonania.
Zapisuj też pominięte filtry, instrumenty i ręczne modyfikacje, nie tylko zapisane pliki. Gdy warunek wybrano po obejrzeniu holdoutu, ten zbiór stał się częścią rozwoju. Nowy końcowy test wymaga danych niezależnych od tego procesu selekcji.
Zweryfikowane źródło pierwotne (11.10.2026): stat.ethz.ch.
Przykład praktyczny
Jeżeli wykonasz 50 niezależnych testów prawdziwych hipotez zerowych przy α = 0,05, oczekiwana liczba fałszywych odrzuceń wynosi 2,5. Prawdopodobieństwo co najmniej jednego to 1−0,95⁵⁰ ≈ 92,3%. Rzeczywiste warianty strategii zwykle nie są niezależne.
Najczęstsze pytania
Czy jedna dobra próba poza próbą usuwa problem?
Nie automatycznie. Liczą się sposób wyboru, liczba wcześniejszych prób i to, czy dane kontrolne pozostały niezależne od decyzji projektowych.
Czy samo nazwanie próby „OOS” daje niezależność?
Nie. Liczy się jej rzeczywisty udział w wyborze reguł, a nie etykieta folderu.
Redaktor naczelny MyBank.pl • Analityk finansowy i rynkowy
mgr Jarosław Wasiński — niezależny analityk i praktyk z ponad 20-letnim doświadczeniem w sektorze finansowym. Twórca i redaktor naczelny portalu MyBank.pl, dostarczającego rzetelną wiedzę o finansach osobistych, bankowości i inwestycjach od 2004 roku.
Bankowość i produkty finansowe: porównania kont osobistych i firmowych, analiza taryf opłat, testy aplikacji mobilnych, recenzje kredytów, lokat i kart kredytowych — z naciskiem na realne koszty i ukryte opłaty.
Rynki finansowe i makroekonomia: analiza fundamentalna rynków walutowych (Forex) i makroekonomicznych od 2007 roku, zarządzanie ryzykiem kapitału, struktura rynków OTC.
Kryptowaluty: analiza rynku kryptowalut, mechanizmów blockchain i tokenizacji aktywów w kontekście portfela inwestycyjnego.
Autor setek komentarzy rynkowych, analiz porównawczych produktów bankowych i materiałów edukacyjnych. Zwolennik transparentności — każdy ranking i recenzja na MyBank.pl opiera się na jawnej metodologii i zweryfikowanych źródłach (taryfy banków, regulaminy promocji, dane NBP).
Treści mają charakter edukacyjny i informacyjny — nie stanowią porady inwestycyjnej, rekomendacji ani oferty. Decyzje finansowe podejmuj na podstawie własnej analizy i konsultacji z doradcą.
