Trading algorytmiczny — procedura testu i ocena cudzego wyniku

Ten sam zapis reguły, ten sam zbiór notowań, dwie osoby piszące program. Listy zawartych transakcji pokrywają się w 81,8%, a średni wynik na transakcję różni się ponad sześciokrotnie — nie dlatego, że któraś z nich się pomyliła, tylko dlatego, że reguła milczała w ośmiu miejscach naraz, a program milczeć nie może i każde takie miejsce rozstrzyga po swojemu. To jest właściwy przedmiot tego artykułu. Automatyzacja nie dodaje przewagi: wykonuje regułę wierniej i szybciej, więc mnoży to, co reguła i tak daje — razem ze znakiem. Ciężar przenosi się na procedurę sprawdzenia reguły i na kryteria, po których da się ocenić wynik pokazany przez kogoś innego. Poniżej znajduje się ścieżka od zapisu reguły do wyłączenia algorytmu z kryterium przejścia na każdym etapie, katalog pułapek testu z mechanizmem każdej, test wrażliwości na koszt, parametr i okres, karta reprodukowalności oraz lista pytań, na które brak odpowiedzi kończy rozmowę o cudzym wyniku. Wszystkie liczby w tekście to wartości ilustracyjne służące pokazaniu mechanizmu; żaden test nie został przeprowadzony i żadna z tych liczb nie opisuje wyniku jakiejkolwiek reguły.

1. Co automatyzacja zmienia w wykonaniu, a czego nie zmienia w rachunku

Program handlujący według zapisanych reguł robi dokładnie jedno: zamienia zapis na sekwencję zleceń, bez pominięć i bez odstępstw.

To jest cała jego funkcja i warto ją nazwać wprost, bo od niej zależy, które oczekiwania wobec automatyzacji są uzasadnione, a które nie mają oparcia w niczym.

Rzeczy, które automat wnosi, mieszczą się w jednym słowie: wierność. Warunek jest oceniany w każdym momencie, w którym reguła każe go oceniać, a nie wtedy, gdy ktoś akurat patrzy na wykres. Zlecenie jest składane z parametrami wynikającymi z zapisu, a nie z parametrami zaokrąglonymi w pośpiechu. Poziomy wyjścia trafiają na rynek razem z wejściem, jeżeli tak stanowi reguła. Ewidencja powstaje sama i zawiera to, co program w niej zapisze — łącznie z sygnałami, które nie doprowadziły do transakcji, o ile ktoś przewidział ich odnotowanie.

Wierność ma jednak konsekwencję, którą łatwo pomylić z korzyścią. Reguła wykonywana wiernie generuje więcej transakcji niż ta sama reguła wykonywana ręcznie, bo znika filtr złożony z nieuwagi, nieobecności i wahania. Liczba transakcji mnoży się przez wartość oczekiwaną jednej z nich, a mnożenie nie zmienia znaku.

Dlaczego ewidencja ręczna nie przewiduje wyniku automatu

Zastrzeżenie z końca rachunku jest ważniejsze niż sam rachunek. Dziewięćdziesiąt sygnałów, które w wykonaniu ręcznym nie doprowadziło do transakcji, nie wypadło losowo. Wypadały te, których moment przypadał poza godzinami obserwacji, te, które pojawiły się w sytuacji wyglądającej niekorzystnie, i te, przy których zabrakło pewności. Każda z tych trzech przyczyn jest skorelowana z czymś, co dzieje się na rynku, więc odfiltrowany zbiór ma inny rozkład wyników niż zbiór wykonany.

Wynika stąd rzecz, którą trzeba powiedzieć wprost, bo bywa pomijana przy przechodzeniu z handlu uznaniowego na automatyczny. Ewidencja z wykonania ręcznego nie jest oszacowaniem wartości oczekiwanej reguły. Jest oszacowaniem wartości oczekiwanej reguły przepuszczonej przez człowieka — a to inna wielkość i nic nie gwarantuje, że mniejsza. Kierunek różnicy nie da się ustalić z samej ewidencji, bo brakuje w niej właśnie tego, co zostało odfiltrowane.

Rozstrzyga to wyznaczenie wyniku wszystkich sygnałów, także pominiętych, na danych historycznych — czyli test, o którym mówi cała reszta tego tekstu. Ten sam skutek daje ewidencja prowadzona prospektywnie i odnotowująca również sygnały niezrealizowane, o której mowa w rachunku powyżej; różni ją to, że jej materiał narasta w tempie rynku, którego nie da się przyspieszyć, podczas gdy test korzysta z historii już istniejącej.

Granice tego, co automat wnosi

Lista rzeczy nierobionych jest krótsza niż lista obietnic, ale za to rozstrzygalna.

Nie tworzy wartości oczekiwanej. Znak wartości oczekiwanej wynika z relacji między średnim zyskiem, średnią stratą, odsetkiem transakcji zamkniętych z zyskiem i kosztem obrotu. Żadna z tych czterech wielkości nie zależy od tego, czy zlecenie składa człowiek, czy program. Program wpływa na piątą wielkość — na liczbę transakcji — i wyłącznie na nią.

Nie zmniejsza kosztu obrotu. Spread, prowizja i poślizg wchodzą do rachunku tak samo w obu trybach. Wierność wykonania skraca odstęp między momentem spełnienia warunku a złożeniem zlecenia, co bywa mylone ze zmniejszeniem poślizgu; są to dwie różne rzeczy, bo poślizg powstaje między złożeniem zlecenia a jego wykonaniem, a nie przed złożeniem. Różnicę między ceną sygnału a ceną, po której realistycznie da się zareagować, rozdziela artykuł 8.1.

Nie zwiększa liczby niezależnych obserwacji proporcjonalnie do liczby transakcji. Więcej transakcji to więcej wierszy w ewidencji, ale niekoniecznie więcej informacji: sygnały skupiają się w tych samych oknach, tych samych ruchach i tych samych warunkach. Wielkość tego efektu i sposób jego oszacowania należą do artykułu 8.2; tutaj wystarczy, że przy ocenie wyniku automatu liczba transakcji jest górnym ograniczeniem liczby obserwacji, a nie jej miarą.

Nie usuwa decyzji, tylko przesuwa ją w czasie. Wszystkie rozstrzygnięcia, które przy handlu ręcznym zapadają w trakcie, przy handlu automatycznym muszą zapaść wcześniej — w postaci zapisu. Rozstrzygnięć jest przy tym więcej, nie mniej, bo program wymaga odpowiedzi także na pytania, które człowiek rozwiązuje odruchowo: co zrobić z sygnałem powstałym przy otwartej pozycji, co z brakiem świecy w danych, co z pozycją, która nie osiągnęła żadnego poziomu. Zestaw tych pytań jest tematem sekcji 3.

Z tych czterech punktów wynika sposób czytania całego artykułu. Automat jest wykonawcą; wartość powstaje w regule i w procedurze jej sprawdzenia. Reszta tekstu dotyczy tej procedury, a nie wykonawcy.

2. Cztery formy automatyzacji i pytanie o interes sprzedawcy

Uczestnik detaliczny ma do wyboru kilka układów, które różnią się nie stopniem automatyzacji, lecz czymś istotniejszym: tym, kto zapisał regułę i kto może ją sprawdzić. To rozróżnienie jest ważniejsze od podziału na „ręczne" i „automatyczne", bo od niego zależy, czy w ogóle da się zastosować procedurę z dalszej części tekstu.

Kolumna ostatnia nie jest oskarżeniem i nie opisuje niczyich intencji. Opisuje strukturę: jeżeli przychód dostawcy zależy od liczby nabywców, a nie od ich wyniku, to zachęta do sprawdzenia reguły przed sprzedażą jest słabsza niż zachęta do jej sprzedania. Nabywca musi tę różnicę pokryć własnym sprawdzeniem, a sprawdzenie wymaga dostępu do informacji z sekcji 8. Kiedy tego dostępu nie ma, nie ma też sposobu odróżnienia reguły sprawdzonej od niesprawdzonej — i to jest cała treść ostrzeżenia, bez potrzeby zakładania złej woli.

Drugi mechanizm działa niezależnie od pierwszego i dotyczy samego zestawu ofert. Program, który przestał działać, znika z oferty; program, który jeszcze działa, w niej zostaje. Zestaw widoczny w danym momencie jest więc zbiorem tych, które przetrwały, a nie próbką losową ze zbioru wszystkich powstałych. Ta sama wada dotyka rankingi ułożone według dotychczasowego wyniku i ma nazwę: obciążenie przeżywalności. Jego mechanizm i skutek opisuje sekcja 6, bo dokładnie ten sam efekt powstaje we własnym teście, gdy uniwersum instrumentów zmieniało się w czasie.

Własny program i konflikt interesów bez sprzedawcy

Pierwszy wiersz tabeli wygląda na wolny od problemu z kolumny ostatniej, bo nie ma w nim dostawcy. Jeden konflikt jednak pozostaje i bywa dotkliwszy, bo nie ma drugiej strony, która by go nazwała. Autor reguły i osoba ją sprawdzająca to ta sama osoba, a wynik sprawdzenia rozstrzyga o losie pracy, którą ta osoba już wykonała.

Skutek jest konkretny i daje się wskazać w jednym miejscu procedury: liczba sprawdzonych wariantów, o której mówi sekcja 6, jest przy własnym programie znana dokładnie i prawie nigdy nie bywa zapisywana. Nie z niechęci — po prostu w chwili sprawdzania szóstego wariantu nikt nie uważa siebie za osobę przeglądającą warianty. Zapis prowadzony od pierwszego przebiegu kosztuje jedną linijkę i jest najtańszą rzeczą, która ten konflikt ogranicza; odtworzenie tej liczby po fakcie już go nie ogranicza, o czym mówi sekcja 9.

Półautomat i luka, którą zostawia

Układ, w którym program ocenia warunek, a decyzję o zleceniu podejmuje człowiek, bywa przedstawiany jako rozwiązanie łączące zalety obu trybów. Z punktu widzenia oceny wyniku ma jednak własność, którą trzeba nazwać: reguła jest zapisana w połowie. Warunek wejścia jest rozstrzygalny, bo policzył go program. Reguła wyboru między sygnałami — czyli to, dlaczego jeden został wykonany, a drugi nie — nie istnieje w postaci zapisanej.

Konsekwencja jest ta sama co przy ewidencji ręcznej z sekcji 1 i warto ją dopowiedzieć w tym miejscu, bo tu bywa mniej widoczna. Wynik takiego układu nie jest wynikiem reguły zapisanej w programie; jest wynikiem tej reguły złożonej z niezapisaną regułą wyboru. Testowanie pierwszej z nich nie mówi nic o wyniku złożenia. Jeżeli układ ma być oceniany, druga reguła musi zostać zapisana — a kryterium tego zapisu, czyli identyczny odczyt przez dwie osoby, podaje artykuł 8.1.

Nie znaczy to, że układ jest wadliwy. Znaczy, że jego wynik ma status wyniku uznaniowego, a nie wyniku systemu — i tak trzeba go opisywać, także wtedy, gdy warunek liczy program.

Odwzorowanie cudzych transakcji

Przy odwzorowaniu cudzych transakcji widoczny jest wyłącznie ostatni element łańcucha: zawarte transakcje. Reguła, która je wywołała, nie jest widoczna, a więc nie da się jej odtworzyć ani sprawdzić na innym okresie. To rozstrzyga o statusie wyniku: jest to zapis przebiegu, a nie test, i nie da się z niego zbudować żadnej z odpowiedzi wymaganych przez kartę z sekcji 8.

Dochodzi do tego różnica wykonania. Odwzorowanie następuje po sygnale pochodzącym z innego rachunku, więc zlecenie trafia na rynek później niż pierwowzór, a wolumen bywa przeskalowany. Obie różnice wchodzą do wyniku odwzorowującego, a nie do wyniku pierwowzoru — czyli publikowany przebieg opisuje coś innego niż to, co otrzyma odwzorowujący. Skala rozbieżności zależy od charakterystyki reguły: przy celu liczonym w dziesiątkach pipsów bywa nieistotna, przy celu kilkupipsowym potrafi przekroczyć cały zakładany zysk, co pokazuje rachunek kosztu wobec celu z artykułu 8.3.

Kwestie prawne — status usługi, obowiązki podmiotu ją prowadzącego i zakres ochrony klienta — należą do działu 13 i nie są przedmiotem tego tekstu. Tutaj liczy się jedno: przy odwzorowaniu odpada możliwość sprawdzenia reguły, a zostaje wyłącznie możliwość zadania pytań z sekcji 9.

3. Warunek zerowy: czy regułę da się odtworzyć na danych

Zanim padnie pytanie o wynik, trzeba odpowiedzieć na pytanie wcześniejsze: czy dwa niezależne odtworzenia tego samego zapisu na tym samym zbiorze notowań dają tę samą listę transakcji. Jeżeli nie dają, wszystko dalsze traci sens, bo porównywane byłyby wyniki dwóch różnych reguł nazwanych tak samo.

Kryterium jednoznaczności zapisu — dwie osoby, ten sam odczyt — ustanawia artykuł 8.1 i pokazuje tam na osiemnastopunktowym zapisie, jak wygląda reguła, która to kryterium spełnia. Tutaj potrzebna jest jego wersja mocniejsza, właściwa dla testu: nie „dwie osoby odczytają identycznie", lecz „dwa programy napisane niezależnie z tego samego zapisu wygenerują identyczną listę". Różnica między tymi dwoma sformułowaniami jest praktyczna. Człowiek czytający regułę wypełnia luki tym, co uważa za oczywiste, i zwykle wypełnia je tak samo jak autor. Program luk nie wypełnia — wymusza rozstrzygnięcie, a rozstrzygnięcie zapada tam, gdzie siedzi programista, i bywa różne.

Test zgodności dwóch odtworzeń

Procedura jest prosta i nie wymaga niczego poza dwoma wykonaniami. Ta sama reguła, ten sam plik notowań, ten sam okres. Porównuje się nie wyniki zbiorcze, lecz listy: znacznik czasu wejścia, kierunek, cenę wejścia, znacznik czasu wyjścia, cenę wyjścia i podstawę wyjścia. Miarą zgodności jest udział transakcji obecnych na obu listach w sumie transakcji unikatowych.

Gdzie powstają rozbieżności

Miejsca, w których dwa odtworzenia rozjeżdżają się najczęściej, dają się wyliczyć, bo są to zawsze te same rodzaje pytań. Każde z nich ma rozwiązanie w jednym zdaniu zapisu — i każde bez tego zdania rozstrzyga się samo, w sposób niekontrolowany.

• Granice okna. Czy oceniana świeca wchodzi do okna, z którego liczony jest poziom odniesienia? Przy oknie dwudziestoświecowym różnica jednej świecy przesuwa poziom o tyle, ile wynosi zakres tej jednej świecy — czyli czasem o zero, a czasem o wielokrotność zakładanego celu.
• Ostra czy nieostra nierówność. Czy warunek „cena powyżej poziomu" obejmuje przypadek równości? Na danych o skończonej liczbie miejsc po przecinku równość zdarza się częściej, niż sugeruje intuicja, bo ceny są zaokrąglone do punktu notowania.
• Sygnał przy otwartej pozycji. Czy jest pomijany, czy powiększa pozycję, czy zastępuje poprzednią? Trzy odpowiedzi dają trzy różne listy transakcji z tego samego strumienia sygnałów.
• Sygnał na tej samej świecy, na której pozycja jest zamykana. Czy pozycja zdążyła się zamknąć przed jego oceną? Odpowiedź zależy od kolejności, której świeca nie zawiera.
• Braki w danych. Czy warunek jest oceniany, gdy w oknie brakuje świecy? Uzupełnianie braku wartością sąsiednią i pominięcie oceny dają różne listy, a oba bywają wybierane bez świadomości, że to wybór.
• Identyfikacja świec i zmiana czasu. Czy świece są identyfikowane etykietą czasu źródła, czy czasem uniwersalnym? W dobie zdublowanej po zmianie czasu pierwsza konwencja tworzy dwie świece o tej samej etykiecie, a jedno z odtworzeń przetworzy jedną z nich dwukrotnie.
• Pozycja bez rozstrzygnięcia. Czy istnieje wyjście po upływie czasu, a jeżeli tak, to czy licznik biegnie w świecach istniejących, czy w godzinach zegarowych? Weekend rozdziela te dwie odpowiedzi na dwie różne daty zamknięcia.
• Koniec okresu testu. Co dzieje się z pozycją otwartą w ostatniej świecy? Zamknięcie jej po ostatniej cenie, pominięcie całej transakcji i pozostawienie jej jako otwartej dają trzy różne sumy.

Lista nie jest zamknięta i nie da się jej zamknąć, bo każda nowa konstrukcja reguły dokłada własne przypadki brzegowe. Da się natomiast zamknąć procedurę: dopóki dwa niezależne odtworzenia nie dają identycznej listy, rozbieżność jest lokalizowana i uzupełniana zdaniem w zapisie, a nie poprawką w jednym z programów. Poprawka w programie usuwa objaw i zostawia lukę w regule; zdanie w zapisie usuwa lukę.

Warto przy tym oddzielić dwie sprawy, które w praktyce zlewają się w jedną. Obiektywizacja reguły — czyli przełożenie obserwacji wykresu na warunek dający się policzyć — jest techniką analityczną i opisuje ją artykuł 5.12. Sprawdzenie, czy tak zapisana reguła daje się odtworzyć identycznie przez dwa niezależne programy, jest czynnością metodologiczną i należy tutaj. Pierwsza odpowiada na pytanie „czy to da się policzyć", druga na pytanie „czy policzy się zawsze tak samo".

Reguła oceniana na zamknięciu i cena reakcji

Osobne miejsce zajmuje w tym zestawieniu odstęp między momentem, w którym warunek stał się znany, a momentem, w którym zlecenie może zostać wykonane. Reguła oparta na zamknięciu świecy jest znana dopiero po zamknięciu; cena, po której da się zareagować, jest ceną następną, a nie ceną zamknięcia. Rozróżnienie to wprowadza artykuł 8.1 i nie ma powodu powtarzać go tutaj w warstwie pojęciowej.

Ma natomiast powód wersja testowa tego rozróżnienia, bo w symulacji objawia się ono inaczej niż w handlu. Program przetwarzający świece po kolei ma w chwili oceny dostęp do całej świecy, także do jej zamknięcia, a często i do świec następnych. Jeżeli zlecenie zostanie zaksięgowane po cenie zamknięcia ocenianej świecy, to test wykorzystał informację, która w chwili decyzji nie była dostępna. Zjawisko nazywa się użyciem danych z przyszłości, a jego istota jest zawsze taka sama: wielkość wchodząca do decyzji stała się znana później niż moment decyzji.

Wersja najbardziej kosztowna dotyczy nie wejścia, lecz wyjścia i pojawia się przy każdej regule, w której poziom wyjścia zależy od czegoś liczonego z okna obejmującego bieżącą świecę. Jeżeli okno obejmuje świecę, w której pozycja jest zamykana, to poziom zamknięcia zawiera informację o tej świecy — a więc pośrednio o wyniku transakcji. Skutek bywa efektowny i całkowicie fałszywy: reguła wychodzi tuż przed niekorzystnym ruchem, systematycznie i na całej próbie.

Sprawdzenie jest jednym pytaniem zadanym każdej wielkości wchodzącej do decyzji: kiedy ta liczba była znana? Odpowiedź „na zamknięciu świecy, na której podejmowana jest decyzja" jest dopuszczalna wyłącznie wtedy, gdy zlecenie jest księgowane po cenie następującej po tym zamknięciu. Odpowiedź „nie wiem" oznacza, że test nie ma statusu i trzeba go powtórzyć po uzupełnieniu zapisu.

4. Dane, strona ceny i reguła intrabar

Test jest funkcją trzech rzeczy: reguły, danych i modelu kosztów. Poprzednia sekcja dotyczyła pierwszej. Ta dotyczy dwóch pozostałych, a zaczyna się od stwierdzenia, które w materiałach o testowaniu bywa pomijane: dane nie są jedne. Ten sam instrument w tym samym okresie ma tyle zapisów, ile źródeł, a różnice między nimi nie są zaokrągleniem.

Co musi być wiadome o danych

Zbiór notowań opisuje się wielkościami, z których żadnej nie da się wywnioskować z pozostałych.

Źródło i jego wersja. Zapis pochodzi od konkretnego dostawcy i bywa poprawiany po fakcie — braki są uzupełniane, błędne notowania korygowane. Test wykonany przed korektą i po niej to dwa różne testy. Reprodukowalność wymaga zapisania nie tylko nazwy źródła, ale i daty pobrania.

Strona ceny. Zapis może zawierać stronę kupna, stronę sprzedaży, obie albo ich średnią. Rozróżnienie to omawia dział 2; w teście ma skutek arytmetyczny opisany niżej.

Rozdzielczość. Zapis świecowy podaje cztery liczby na jednostkę czasu: otwarcie, maksimum, minimum i zamknięcie. Zapis o rozdzielczości pojedynczych zmian ceny podaje każdą z nich osobno. Pierwszy nie zawiera kolejności zdarzeń wewnątrz jednostki, drugi zawiera — i na tym polega cała różnica między nimi dla testu.

Kompletność. Brakujące jednostki czasu, zdublowane znaczniki i przerwy wynikające z przestojów po stronie źródła zmieniają listę momentów oceny. Sposób postępowania z brakiem musi być zapisany, bo inaczej rozstrzyga go domyślne zachowanie narzędzia.

Zmiany w uniwersum instrumentów. Jeżeli test obejmuje więcej niż jeden instrument, trzeba wiedzieć, czy zbiór instrumentów był w całym okresie taki sam. Instrument, którego notowania zostały wycofane, znika ze zbioru razem ze swoim wynikiem — i to jest ten sam mechanizm, który w sekcji 2 dotyczył zestawu ofert.

Strona ceny: skutek arytmetyczny

Reguła bywa liczona po jednej stronie rynku, a zlecenie wykonywane po drugiej. Pozycja długa otwiera się po cenie sprzedaży oferowanej uczestnikowi, a zamyka po cenie kupna; różnica między nimi jest płacona raz na obrót zamknięty. Jeżeli symulacja wchodzi i wychodzi po tej samej stronie, ta różnica z rachunku wypada w całości.

Nie jest to drobiazg zależny od skali. Pomijany składnik jest stały na transakcję, więc jego suma rośnie liniowo z liczbą transakcji, a jego udział w wyniku rośnie odwrotnie proporcjonalnie do długości celu. Rachunek tej zależności przeprowadza w całości artykuł 8.3 i tam należy szukać jej rozwinięcia; tutaj potrzebna jest wyłącznie liczba, którą trzeba dodać do sumy testu.

Reguła intrabar: przypadek, w którym dane milczą

Świeca podaje maksimum i minimum, ale nie podaje ich kolejności. Dopóki w obrębie jednej świecy zostaje osiągnięty tylko jeden poziom wyjścia, nie ma to znaczenia. Kiedy zakres świecy pokrywa oba poziomy, wynik transakcji zależy wyłącznie od kolejności — a tej w danych nie ma.

Każde możliwe rozstrzygnięcie jest wyborem projektanta testu, a nie ustaleniem wynikającym z danych. Wariant optymistyczny przyjmuje, że pierwszy został osiągnięty poziom celu. Wariant konserwatywny przyjmuje, że pierwszy został osiągnięty poziom obronny. Wariant trzeci polega na sięgnięciu po zapis o wyższej rozdzielczości i jest jedynym, który rozstrzyga sprawę faktami, a nie konwencją. Skala różnicy między dwoma pierwszymi decyduje o tym, czy trzeci jest konieczny.

Z rachunku wynika procedura, a nie ostrzeżenie. Udział przypadków spornych liczy się zawsze i podaje razem z wynikiem, bo jest on miarą tego, ile w wyniku pochodzi z danych, a ile z konwencji. Przy udziale bliskim zeru wybór konwencji nie ma znaczenia i wystarczy go zapisać. Przy udziale rzędu kilkunastu procent test wykonany na samych świecach nie rozstrzyga niczego i trzeba albo sięgnąć po wyższą rozdzielczość, albo podać obie wersje wyniku jako granice przedziału. Podanie jednej z nich bez wskazania, która to jest, jest natomiast zapisem wyniku, którego nie da się zinterpretować.

Model kosztów w symulacji

Koszt wchodzi do symulacji jako kilka oddzielnych wielkości i każda z nich ma inny status. Spread jest obserwowalny w chwili decyzji i bywa zapisany w danych; jeżeli nie jest, przyjmuje się wartość stałą i zapisuje to jako założenie. Prowizja jest znana z warunków rachunku, ale jest kwotą, nie odległością ceny, więc jej przeliczenie na jednostkę używaną w teście wymaga wartości pipsa dla przyjętego wolumenu — sposób przeliczenia podaje dział 2. Poślizg nie jest obserwowalny przed decyzją i w symulacji jest zawsze wielkością przyjętą, a nie zmierzoną.

Ostatnie zdanie ma konsekwencję, którą warto rozwinąć, bo jest źródłem rozbieżności między testem a wynikiem późniejszym. Symulacja może pominąć poślizg, przyjąć go jako stałą albo losować z zadanego rozkładu. Trzy warianty dają trzy różne wyniki, a żaden z nich nie jest pomiarem. Rozkład rzeczywisty jest przy tym niesymetryczny: po stronie wyjścia obronnego zlecenie uruchamia się wtedy, gdy cena porusza się przeciwko pozycji, więc odchylenia po tej stronie są przeciętnie większe i mają dłuższy ogon. Symulacja z poślizgiem symetrycznym zaniża więc koszt systematycznie, a nie losowo.

Do tego dochodzi rzecz, której model kosztów nie obejmie w ogóle: zlecenie odrzucone i zlecenie zrealizowane częściowo. Pierwsze nie generuje kosztu, ale usuwa transakcję z listy — i usuwa ją nielosowo, bo odrzucenia skupiają się w momentach szybkiego ruchu. Drugie zmienia wolumen, a przy prowizji z kwotą minimalną także koszt wyrażony w pipsach. Oba przypadki symulacja pomija, jeżeli nie zostały jawnie wprowadzone, więc test jest w tym zakresie oszacowaniem od strony korzystnej. Rachunkowe skutki obu przypadków rozwija artykuł 8.3.

Trzy wymienione składniki nie wyczerpują modelu, jeżeli reguła utrzymuje pozycję przez godzinę rolowania. Wtedy do rachunku wchodzi czwarty, narastający z liczbą nocy, a nie z liczbą transakcji, i mający własną konwencję dnia potrójnego naliczenia. Symulacja, która go pomija, zawyża wynik reguł o dłuższym horyzoncie i nie zawyża wyniku reguł zamykających pozycję w ciągu dnia — czyli wprowadza różnicę między nimi, której źródłem jest wyłącznie model kosztów. Rachunek naliczeń dla kilku nocy przeprowadza artykuł 8.5, a dla skali rocznej artykuł 8.6; do testu potrzebne są stamtąd dwie rzeczy — sposób liczenia i informacja, że wartości są parametrem konkretnego pośrednika i konkretnego dnia, więc muszą wejść do symulacji jako założenie z podaną datą, a nie jako stała uniwersalna.

Osobno stoją okna, w których reguła nie powinna działać, a w symulacji działa. Publikacja danych zmienia naraz spread, poślizg i sposób realizacji zleceń oczekujących, więc transakcje z takiego okna mają inny rozkład kosztu niż wszystkie pozostałe; warstwę strategiczną wokół tych okien opisuje artykuł 8.8. Jeżeli reguła zawiera wstrzymanie handlu, symulacja musi je odtworzyć razem z listą wydarzeń i strefą czasową ich godzin — inaczej test obejmuje transakcje, których handel nigdy by nie zawarł. Jeżeli reguła wstrzymania nie zawiera, transakcje z okien publikacji wchodzą do jednej próby z pozostałymi i średnia z tej próby nie opisuje żadnego z dwóch reżimów. Podobnie z godziną zamknięcia dnia handlowego: jest ona wyznaczona czasem serwera, a nie porą lokalną, i reguła zamykająca pozycję przed jej upływem daje w symulacji inną listę transakcji dla każdej przyjętej konwencji — co rozwija artykuł 8.4.

Rachunek na rachunku demonstracyjnym ma tę samą własność i z tego samego powodu: odtwarza spread i prowizję, a poślizgu nie odtwarza w sposób odpowiadający jego rzeczywistemu rozkładowi. Nie jest to więc etap, na którym sprawdza się wynik. Jest to etap, na którym sprawdza się, czy program robi to, co miał robić — a to zupełnie inne pytanie, wracające w sekcji 5.

5. Ścieżka od reguły do wdrożenia z kryterium przejścia

Etapy sprawdzania reguły są opisywane w wielu miejscach, zwykle jako lista czynności. Lista czynności niczego nie rozstrzyga, bo nie mówi, kiedy wolno przejść dalej. Poniżej każdy etap ma przypisane pytanie, na które trzeba odpowiedzieć twierdząco, żeby następny etap miał sens, oraz wskazanie, co robi się przy odpowiedzi przeczącej. Kolejność nie jest umowna: każdy etap zakłada, że poprzedni został zamknięty.

Co się dzieje przy odpowiedzi przeczącej

Etap pierwszy. Rozbieżność list oznacza lukę w zapisie, więc uzupełnia się zapis i powtarza oba odtworzenia. Nie wolno wybrać jednego z wyników jako właściwego, bo nie ma kryterium takiego wyboru poza preferencją.

Etap drugi. Brak którejkolwiek z pięciu informacji o danych zatrzymuje test, ponieważ każda z nich wchodzi do wyniku. Uzupełnienie jest czynnością porządkową, nie merytoryczną, i zwykle zajmuje mniej czasu niż spór o to, czy jest potrzebna.

Etap trzeci. Test na próbie, na której reguła powstała, nie jest dowodem i nie miał nim być. Ma jedną funkcję: odsiewa pomysły, które nie działają nawet na danych sprzyjających. Wynik ujemny na tym etapie kończy sprawę; wynik dodatni nie rozstrzyga niczego poza tym, że warto przejść dalej. Sformułowanie „strategia została potwierdzona testem" nie ma na tym etapie żadnego pokrycia. Osobno od samego wyniku stoi warunek przejścia zapisany na schemacie: dopóki udział przypadków o nierozstrzygniętej kolejności wewnątrz świecy nie został policzony i podany razem z wynikiem, nie wiadomo, jaka część tej liczby pochodzi z danych, a jaka z przyjętej konwencji — i etap pozostaje otwarty niezależnie od tego, czy wynik wypadł dodatnio.

Etap czwarty. Procedura przesuwanych okien polega na tym, że parametry są dobierane na oknie wcześniejszym, a wynik odczytywany na oknie następnym, którego przy doborze nie widziano; potem całość przesuwa się o krok i powtarza. Opis procedury i jej wariantów podaje monografia poświęcona ocenie i optymalizacji strategii.^[1] Wartość tej konstrukcji polega na tym, że każdy odczyt pochodzi z danych nieużytych do doboru, więc suma odczytów nie jest wynikiem dopasowania. Utrata znaku w części okien nie jest jeszcze rozstrzygnięciem — jest wskazaniem, że wynik zależy od okresu, co bada sekcja 7.

Etap piąty. Sprawdzenie na danych napływających dotyczy czegoś innego niż wszystkie poprzednie: nie jakości reguły, lecz zgodności założeń wykonawczych z tym, co faktycznie się dzieje. Porównuje się rozkład poślizgu przyjęty w symulacji z zaobserwowanym, liczbę zleceń odrzuconych i częściowo zrealizowanych z zerem założonym w teście, a liczbę transakcji na jednostkę czasu z liczbą wynikającą z testu. Rozbieżność w którymkolwiek z tych trzech miejsc oznacza, że test opisywał inny układ.

Etap szósty. Kryterium wyłączenia zapisane po wdrożeniu nie jest kryterium, tylko komentarzem do wyniku. Konstrukcję kryterium i jego własności statystyczne omawia sekcja 10; tutaj wystarczy warunek formalny: musi istnieć, zanim padnie pierwsze zlecenie.

Etap siódmy. Najczęstsza wada monitorowania nie polega na tym, że go nie ma, lecz na tym, że porównuje wielkości nieporównywalne — wynik w walucie rachunku z wynikiem testu w pipsach, wynik po zmianie wolumenu z wynikiem przed nią, wynik z okresu krótszego z wynikiem z okresu dłuższego. Porównanie ma sens wyłącznie w tych samych jednostkach i na tej samej wielkości, czyli zwykle na średnim wyniku transakcji wyrażonym w pipsach.

Etap ósmy. Wyłączenie jest częścią systemu, a nie jego awarią. Reguła bez zapisanego warunku zakończenia nie jest kompletna w tym samym sensie, w jakim niekompletna jest reguła bez wyjścia obronnego — brakuje jej rozstrzygnięcia dla stanu, który na pewno wystąpi. Warunek przejścia dotyczy tu źródła decyzji: wyłączenie podjęte pod wpływem bieżącego wyniku, a nie zapisanego wcześniej progu, cofa do etapu szóstego, bo oznacza, że kryterium albo nie powstało przed pierwszym zleceniem, albo zostało w praktyce zastąpione decyzją uznaniową.

Ile historii zużywa każdy etap

Ścieżka jest opisana jako sekwencja czynności, ale za każdą z nich stoi zużycie tego samego, skończonego zasobu: dostępnej historii notowań. Warto ten podział zobaczyć w liczbach, bo bywa on jedynym powodem, dla którego cała procedura nie daje się przeprowadzić w zakładanej formie.

Wnioski z tego rachunku dotyczą projektu, a nie wykonania. Wydłużenie okna doboru parametrów poprawia jakość doboru i skraca odczyt; skrócenie działa odwrotnie. Rozstrzygnięcia tego kompromisu nie da się wyprowadzić z danych, bo obie strony mierzy się w innych jednostkach — trzeba go po prostu zapisać razem z uzasadnieniem. Druga rzecz jest twardsza: jeżeli dostępna historia daje po podziale kilkadziesiąt transakcji odczytanych poza próbą uczącą, to procedura została przeprowadzona formalnie, a jej wynik nie ma mocy rozstrzygającej — i lepiej powiedzieć to wprost, niż podać liczbę bez tej informacji.

Cztery statusy wyniku, których nie wolno mieszać

Każda liczba opisująca wynik ma status wynikający z tego, skąd pochodzi, i status ten trzeba podawać razem z liczbą. Wynik z próby, na której regułę zbudowano, mówi o dopasowaniu do tej próby. Wynik z okna, którego przy doborze parametrów nie widziano, mówi o zachowaniu reguły na danych nowych, ale wciąż historycznych. Odczyt z procedury przesuwanych okien należy w tym podziale do tej samej kategorii, bo powstaje w ten sam sposób — na danych historycznych nieużytych do doboru parametrów; odróżnia go wyłącznie to, że dobór powtarza się w każdym oknie zamiast raz na całą próbę, a to zmienia liczbę odczytów, nie ich status. Wynik z danych napływających mówi dodatkowo o wykonaniu, bo dopiero on zawiera rzeczywisty poślizg, rzeczywiste odrzucenia i rzeczywisty rozkład kosztu. Rachunek rzeczywisty jest czwartym statusem i różni się od trzeciego tym, że jego wynik jest już poniesiony.

Mieszanie tych statusów daje zdania pozornie mocne i pozbawione treści: „system wypracował tyle a tyle" bez wskazania, na której z czterech kategorii. Ponieważ różnica między pierwszą a czwartą bywa większa niż różnica między dwiema różnymi regułami, brak statusu unieważnia całą liczbę.

6. Katalog pułapek testu

Pułapki testowania wymienia się zwykle z nazwy, co pozwala je rozpoznać w cudzym tekście i nie pozwala rozpoznać we własnym teście. Poniższa tabela podaje dla każdej mechanizm — czyli to, przez co konkretnie wynik zostaje zawyżony — sposób ograniczenia oraz część efektu, która pozostaje mimo zastosowania tego sposobu. Ostatnia kolumna jest najważniejsza, bo żadna z tych pułapek nie daje się usunąć w całości.

Czwarta pozycja zasługuje na osobne zdanie, bo jej mechanizm bywa mylony z nieuczciwością, a jest zjawiskiem czysto rachunkowym. Jeżeli przegląda się wiele wariantów reguły na tym samym zbiorze danych, to najlepszy z nich wypadnie dobrze także wtedy, gdy żaden nie ma przewagi — maksimum z wielu losowych wielkości jest większe od każdej z nich z osobna. Formalne ujęcie tego problemu i procedurę testu uwzględniającą całą przeglądaną rodzinę reguł podał White.^[2] Praktyczna konsekwencja jest prosta: liczba sprawdzonych wariantów jest częścią wyniku i musi być podana razem z nim.

Skala problemu rośnie szybciej, niż podpowiada intuicja. Analiza progów istotności w badaniach finansowych wskazuje, że przy dużej liczbie testowanych zależności zwyczajowe progi przepuszczają znaczną część wyników fałszywie dodatnich, a rozsądny próg musi być wyraźnie wyższy.^[4] Praca ta dotyczy badań nad przekrojem stóp zwrotu na rynku akcji, a nie testowania reguł na rynku walutowym, więc nie przenosi się wprost — ilustruje jednak ten sam mechanizm i pokazuje, że korekta nie jest kosmetyczna.

Dlaczego okno kontrolne zużywa się przy powtarzaniu

Jedna z pozycji tabeli wymaga rozwinięcia, bo dotyczy błędu popełnianego w dobrej wierze przez kogoś, kto zna wszystkie pozostałe. Podział próby na część, na której dobiera się parametry, i część, na której odczytuje się wynik, działa dokładnie raz. Przy drugim przejściu — po zmianie reguły podyktowanej słabym wynikiem na oknie kontrolnym — to okno przestaje być kontrolne, bo weszło do procesu doboru. Formalnie pozostaje odrębnym zbiorem danych, praktycznie stało się częścią próby uczącej.

Po kilku takich iteracjach obie części pełnią tę samą funkcję, a wynik odczytany z drugiej z nich jest wynikiem in-sample noszącym etykietę out-of-sample. Zjawisko jest tym silniejsze, im więcej konfiguracji zostało przetestowanych; przy dostatecznie dużej ich liczbie wynik osiągnięty na próbie uczącej przestaje nieść informację o zachowaniu poza nią.^[3]

Sposób ograniczenia jest jeden i jest niewygodny: liczba przejść przez okno kontrolne musi być zapisywana, a przy każdym kolejnym przejściu wymagania wobec wyniku muszą rosnąć. Nie ma sposobu, żeby wynik po dziesiątym przejściu miał ten sam status co po pierwszym, i nie ma procedury, która by to naprawiła — jest wyłącznie procedura, która pozwala o tym pamiętać.

Granice zasięgu tej tabeli

Wszystkie pozycje dotyczą zawyżenia wyniku przez konstrukcję testu. Istnieje osobna kategoria rozbieżności, której test nie zawyża, tylko pomija: zmiany po stronie warunków, w jakich reguła miała działać. Ograniczenia dotyczące minimalnego czasu życia pozycji, handlu w oknie publikacji danych albo odległości zleceń oczekujących od bieżącej ceny potrafią wykluczyć regułę niezależnie od jej wyniku w teście — regułą, której nie wolno wykonać, nie ma po co się zajmować. Warunki te sprawdza się przed testem, a nie po nim, i opisuje je dział 11.

Druga rzecz poza zasięgiem tabeli to jakość samego pomysłu. Test odsiewa reguły, które nie działają nawet na danych sprzyjających, i nie potrafi odróżnić reguły opartej na trwałej własności rynku od reguły opartej na zbiegu okoliczności o tej samej sile. Przegląd badań nad zyskownością reguł technicznych wskazuje, że znaczna część wcześniejszych wyników pozytywnych daje się wyjaśnić wielokrotnym testowaniem, doborem próby i pominięciem kosztów, a wyniki uzyskane po uwzględnieniu tych czynników są znacznie słabsze.^[5] Wniosek metodologiczny z tego przeglądu jest ostrożniejszy niż jego wniosek merytoryczny: to nie jest ustalenie, że reguły techniczne nie działają, tylko ustalenie, że dowody przedstawiane na ich poparcie były w większości słabsze, niż wyglądały.

7. Test wrażliwości: koszt, parametr, okres

Twierdzenie, że reguła ma przewagę, wymaga sprawdzenia, czy wynik przetrwa rozsądną zmianę założeń. Trzy osie są przy tym obowiązkowe, bo trzy rodzaje założeń wchodzą do każdego testu: przyjęty koszt, wartość kluczowego parametru i wybrany okres. Poniżej wszystkie trzy przeprowadzone na jednym zestawie liczb, żeby dało się je porównać między sobą.

Przedmiotem jest reguła z jednym parametrem swobodnym — długością okna, z którego wyznaczany jest poziom odniesienia. Sprawdzone wartości: 10, 15, 20, 25, 30 i 40 świec. Mierzoną wielkością jest średni wynik jednej zamkniętej transakcji w pipsach, po koszcie 0,60 pipsa na transakcję. Rozpatrywane są dwa warianty reguły, oznaczone A i B, różniące się konstrukcją warunku wejścia. Wszystkie liczby w tej sekcji są wartościami ilustracyjnymi; nie pochodzą z żadnego testu i służą wyłącznie pokazaniu, jak odczytuje się taki zestaw.

Moment dostępności i model wykonania dla tego zestawu. Liczby w trzech tabelach poniżej nie pochodzą z przebiegu na danych, więc warstwa wykonawcza jest w nich założona, a nie zmierzona: przyjęto zapis świecowy jednej strony ceny, zlecenie księgowane po cenie następującej po zamknięciu ocenianej świecy oraz konwencję intrabar optymistyczną, przy czym udział przypadków spornych wynosi tu zero, bo żadna z tych wartości nie powstała z przetworzenia notowań. W zestawieniu opartym na rzeczywistym przebiegu wszystkie te informacje trzeba podać razem z tabelą — wymaga tego reguła z sekcji 4, według której udział przypadków spornych liczy się zawsze, oraz pozycja o regule intrabar z karty reprodukowalności.

Oś parametru

Oba warianty mają maksimum przy tej samej długości okna, więc odczyt polegający na wskazaniu najlepszej wartości parametru dałby ten sam wynik dla obu i zalecałby wariant A, bo jego maksimum jest ponad trzykrotnie wyższe. Odczyt właściwy prowadzi do wniosku przeciwnego.

Wielkością rozstrzygającą jest relacja maksimum do jego bezpośredniego otoczenia. Dla wariantu A sąsiedzi maksimum wynoszą +0,42 i +0,38 pipsa, czyli średnio +0,40; iloraz maksimum do sąsiedztwa to 1,733 ÷ 0,40 = 4,33. Dla wariantu B sąsiedzi wynoszą +0,44 i +0,49, czyli średnio +0,47 po zaokrągleniu — dokładniej 0,465; iloraz to 0,51 ÷ 0,465 = 1,10.

Wariant A ma maksimum odosobnione: przesunięcie parametru o jeden krok w dowolną stronę zabiera trzy czwarte wyniku. Wariant B ma obszar płaski: cztery kolejne wartości parametru dają wyniki mieszczące się między +0,44 a +0,51 pipsa. Nie ma powodu sądzić, że wartość dwadzieścia jest w wariancie A czymś wyróżnionym, i jest powód sądzić, że jej wynik zawiera składnik pochodzący z tej konkretnej próby. Wielkością, którą wolno przenieść dalej, jest sąsiedztwo, a nie szczyt — czyli +0,40 dla A i +0,465 dla B.

W takim zestawieniu ginie przy tym rzecz, która zmienia jego wymowę: liczba transakcji spada wraz z długością okna. Przy oknie czterdziestoświecowym jest ich mniej niż połowa tego, co przy dziesięcioświecowym. Znaczy to, że skrajne kolumny są oszacowane z mniejszej próby, a więc obarczone większą niepewnością — i że porównywanie ich z kolumnami środkowymi wymaga tej niepewności. Sposób jej policzenia podaje artykuł 8.2, a nie ten tekst; tutaj wystarczy odnotować, że wiersz z najmniejszą liczbą transakcji nigdy nie powinien być tym, który rozstrzyga o wyborze.

Oś kosztu

Druga oś jest najprostsza rachunkowo i najczęściej pomijana. Koszt wchodzi do wyniku raz na zamkniętą transakcję, więc podniesienie go o ΔK obniża średni wynik transakcji dokładnie o ΔK — pod warunkiem, że koszt nie zmienia listy transakcji, co dla reguły niezawierającej warunku zależnego od kosztu jest spełnione.

Podniesienie kosztu o 0,60 pipsa — czyli o wielkość mieszczącą się w rozbieżności między symulacją pomijającą poślizg a jego rzeczywistym rozkładem — sprowadza poniżej zera sąsiedztwo obu wariantów oraz szczyt wariantu B. Ponad zerem zostaje wyłącznie szczyt wariantu A, czyli dokładnie ta wartość, którą poprzedni podrozdział wskazał jako najmniej wiarygodną.

Stabilność wzdłuż jednej osi nie mówi nic o stabilności wzdłuż innej: wariant B jest odporny na zmianę parametru i jednocześnie kruchy wobec kosztu, więc odczyt z jednej osi nie zwalnia z odczytu z pozostałych. Idzie za tym rzecz druga, ważniejsza przy ocenie cudzego zestawienia: jeżeli po realistycznym podniesieniu kosztu jedynym dodatnim punktem pozostaje odosobniony szczyt, to zestawienie nie wspiera twierdzenia o przewadze, tylko je podważa.

Oś okresu

Trzecia oś polega na powtórzeniu całego przeglądu parametru osobno w dwóch rozłącznych podokresach.

Interesująca jest przy tym nie tyle wysokość wyniku, ile położenie maksimum: jeżeli najlepszy parametr wypada w każdym podokresie gdzie indziej, to jego położenie jest właściwością próby, a nie reguły.

Wartości z tabeli pierwszej są średnimi ważonymi liczbą transakcji z obu podokresów. Dla wariantu A przy oknie dwudziestoświecowym: (110 × 3,20 + 100 × 0,12) ÷ 210 = (352 + 12) ÷ 210 = 364 ÷ 210 = +1,733, czyli +1,73 po zaokrągleniu. Dla wariantu B przy tym samym oknie: (105 × 0,60 + 95 × 0,41) ÷ 200 = (63,0 + 38,95) ÷ 200 = 101,95 ÷ 200 = +0,510. Pozostałe wiersze liczy się identycznie.

Odczyt jest jednoznaczny. W wariancie A maksimum przenosi się z okna dwudziestoświecowego w podokresie pierwszym na czterdziestoświeczne w drugim, a wartość szczytu spada z +3,20 do +0,30 pipsa; pięć z sześciu wartości w podokresie drugim mieści się między −0,15 a +0,19. Cała wysokość szczytu w zestawieniu zbiorczym pochodzi z jednego podokresu i ze 110 transakcji. W wariancie B maksimum przesuwa się o jeden krok, z dwudziestu na dwadzieścia pięć świec, a wszystkie sześć wartości w obu podokresach pozostaje dodatnich; różnica między szczytem a jego sąsiadem wynosi w podokresie drugim jedną setną pipsa, czyli mniej, niż można sensownie odczytać.

To jest właśnie różnica między parametrem stabilnym a parametrem dopasowanym, i widać ją dopiero po podziale okresu. W zestawieniu zbiorczym wariant A wygląda ponad trzykrotnie lepiej. Po rozdzieleniu podokresów okazuje się, że jego przewaga zamyka się w jednym oknie czasowym i jednym ustawieniu parametru, a poza nimi znika — co wraz z wynikiem osi kosztu wystarcza do opisania go jako kruchego, a nie jako precyzyjnie dopasowanego.

Co robić z wynikiem testu wrażliwości

Trzy osie dają trzy odczyty i żaden z nich nie jest oceną. Odczyt osi parametru wskazuje, którą wartość wolno przenieść dalej — sąsiedztwo, nie szczyt. Odczyt osi kosztu wskazuje, o ile koszt musiałby wzrosnąć, żeby wynik zmienił znak, i czy ta wielkość mieści się w niepewności samego oszacowania kosztu. Odczyt osi okresu wskazuje, ile z wyniku pochodzi z jednego fragmentu historii.

Kiedy trzy odczyty wskazują w tę samą stronę, wniosek jest prosty. Kiedy wskazują w różne strony — a tak bywa częściej — nie ma reguły rozstrzygającej i nie warto jej udawać. Jest natomiast rzecz, którą wolno powiedzieć bez zastrzeżeń: wynik, który zmienia znak po niewielkiej i realistycznej zmianie jednego założenia, nie jest wynikiem stabilnym, niezależnie od tego, jak wysoko wypada w punkcie wyjściowym.

8. Karta reprodukowalności

Test jest reprodukowalny wtedy, gdy ktoś dysponujący samym opisem odtworzy z niego ten sam wynik. Kryterium jest ostre i nie zna stopni pośrednich: albo opis wystarcza, albo nie. Poniższa karta wylicza pozycje, których brak przerywa odtworzenie, i wskazuje, co konkretnie staje się wtedy nieznane.

Żadna pozycja karty nie jest opcjonalna, choć nie wszystkie są jednakowo pracochłonne. Osiem da się wypełnić w kilka minut, bo są to informacje, które testujący i tak posiada. Cztery pozostałe — reguła w postaci rozstrzygalnej, udział przypadków spornych, historia podziału próby i liczba sprawdzonych wariantów — wymagają pracy, i to nie przypadek, że są to dokładnie te cztery, których w cudzych zestawieniach brakuje najczęściej.

Zrzut przebiegu kapitału nie zastępuje żadnej z dwunastu pozycji. Nie zawiera reguły, nie zawiera modelu kosztów, nie zawiera podziału próby i nie zawiera statusu — a bez nich jest wykresem, na którego podstawie nie da się orzec niczego poza tym, że ktoś dysponował danymi. To samo dotyczy zestawień zbiorczych opisujących wynik jedną liczbą: liczba bez tych dwunastu pozycji jest ozdobą.

9. Ocena cudzego wyniku listą pytań

Wynik pokazany przez kogoś innego ocenia się tak samo jak własny, z jedną różnicą: brakujących informacji nie da się uzupełnić samodzielnie, więc pytanie bez odpowiedzi jest końcem oceny, a nie jej etapem.

Podział pracy między dwie listy trzeba postawić przed pierwszym pytaniem, bo bez niego zestawienie rozrasta się do rozmiarów, przy których nikt go nie przechodzi do końca. Osiem pytań o sam wynik — liczba transakcji, okres i instrumenty, koszty, podział danych, liczba sprawdzonych wariantów, największe obsunięcie, udział największych transakcji oraz to, kto ponosi ryzyko — jest własnością sekcji 13 artykułu 8.2, obowiązuje bez żadnej zmiany także wtedy, gdy wynik pochodzi z algorytmu, i nie jest tu powtarzane. Poniższe zestawienie wylicza wyłącznie to, co dochodzi wtedy, gdy liczba pochodzi z testu przeprowadzonego na zapisie notowań, a nie z serii zawartych transakcji. Każda pozycja jest uporządkowana tak samo: pytanie, wymagana treść odpowiedzi i to, co oznacza jej brak.

Pytanie ostatnie bywa uznawane za nietaktowne i jest jedynym, którego odpowiedź nie dotyczy samej procedury testu. Ma jednak funkcję porządkującą: rozstrzyga, czy pozostałe dziesięć pytań kieruje się do kogoś, kto poniósł skutek własnych ustaleń, czy do kogoś, kto poniesie skutek wyłącznie cudzych. To nie jest zarzut wobec żadnej ze stron, tylko informacja o tym, gdzie leży ciężar sprawdzenia.

Jak obie listy działają razem

Kolejność, w jakiej się je przechodzi, ma znaczenie praktyczne. Najpierw idzie osiem pytań z artykułu 8.2, bo są krótsze i częściej kończą sprawę: przy wyniku podanym bez liczby transakcji, bez dat i bez podziału danych pytanie o rozdzielczość zapisu jest bezprzedmiotowe, skoro nie wiadomo nawet, czego ta rozdzielczość miałaby dotyczyć. Dopiero wynik, który tamtą listę przeszedł, wymaga jedenastu pytań powyżej — i dopiero na nich rozstrzyga się, czy podana liczba opisuje regułę, czy procedurę, która ją sprawdzała.

Rozdzielenie to ma jeszcze jeden skutek, mniej oczywisty i wart osobnego zdania. Osiem pytań z listy podstawowej zadaje się jednakowo o wynik z rachunku rzeczywistego i o wynik z testu. Dziesięć pytań powyżej daje się zadać wyłącznie o test — i to jest dokładnie powód, dla którego wynik z danych napływających ma inny status niż wynik historyczny, mimo że jedno i drugie bywa przedstawiane tą samą liczbą. Przy serii transakcji faktycznie zawartych odpowiedź na pytanie o rozdzielczość, konwencję intrabar i obsługę braków nie jest trudna do udzielenia — ona po prostu nie istnieje, bo te transakcje nie powstały z odczytu zapisu notowań, tylko ze zdarzeń na rachunku. Odwrotnie zaś: przy teście nie istnieje odpowiedź o rozkładzie wykonań, bo żadne wykonanie nie miało miejsca — i stąd bierze się piąty etap ścieżki z sekcji 5, który jest jedynym miejscem, gdzie obie warstwy dają się porównać na tych samych wielkościach.

Co bywa podstawiane zamiast odpowiedzi

Zamiast odpowiedzi bywa przedstawiane co innego, a żadna z tych rzeczy odpowiedzi nie zastępuje. Pierwsza to przebieg kapitału, który nie zawiera ani reguły, ani modelu kosztów, ani podziału próby. Druga to długość okresu bez liczby transakcji: dwa lata mogą oznaczać dwadzieścia transakcji albo dwa tysiące, a różnica między tymi przypadkami jest większa niż różnica między dowolnymi dwiema regułami — obie te wielkości należą do listy z artykułu 8.2 i bywają podawane jedna zamiast drugiej. Trzecia to liczba zbiorcza opisująca jakość wyniku jedną wartością — bez próby, okresu, kosztów i podziału danych jest ona funkcją tych brakujących wielkości, a nie funkcją reguły.

Warto też oddzielić dwa pytania, które w rozmowie zlewają się w jedno: „czy ten wynik jest prawdziwy" i „czy z tego wyniku coś wynika". Pierwsze dotyczy rzetelności i zwykle nie da się na nie odpowiedzieć z zewnątrz. Drugie dotyczy metodologii, odpowiedź jest sprawdzalna i to na nie odpowiada powyższa lista. Wynik może być całkowicie prawdziwy i jednocześnie nie znaczyć nic — jeżeli powstał z wyboru najlepszego z wielu wariantów na jednym okresie, przy koszcie oszacowanym od dołu i przy konwencji intrabar dobranej korzystnie.

Ten sam zestaw pytań zastosowany do własnego wyniku

Lista działa w obie strony i tam jest trudniejsza, bo na wszystkie pytania da się odpowiedzieć, więc żadne nie kończy rozmowy. Pomocne jest jedno przestawienie: odpowiedzi zapisuje się przed spojrzeniem na wynik, a nie po. Liczba użyć okna kontrolnego notowana na bieżąco jest liczbą; ta sama liczba odtwarzana po fakcie jest oszacowaniem obciążonym w znanym kierunku, bo odczyty, po których nic nie zmieniono, pamięta się gorzej niż te, które doprowadziły do poprawki reguły. Dokładnie tak samo zachowuje się liczba sprawdzonych wariantów z listy w artykule 8.2 — obie pozycje zapisuje się w trakcie prac albo nie zapisuje wcale.

Podobnie z podziałem próby: zapisanie, które dane zostaną użyte do doboru, a które do odczytu, kosztuje jedno zdanie przed testem i jest niewykonalne po nim. Karta z sekcji 8 wypełniana na bieżąco jest dokumentem; wypełniana po zakończeniu prac jest rekonstrukcją.

10. Monitorowanie i kryterium wyłączenia zapisane z góry

Reguła, która przeszła wszystkie etapy, wcześniej czy później zacznie zachowywać się inaczej niż w teście. Pytanie brzmi, czy to zachowanie mieści się w rozrzucie, którego należało oczekiwać, czy oznacza zmianę warunków. Odpowiedź jest z natury niepewna i żadne kryterium jej nie uściśli — da się natomiast policzyć, jak często konkretne kryterium myli się w każdą ze stron, i to jest właściwa treść tej sekcji.

Kryterium oparte na przekroczeniu najgorszej obserwacji z testu

Najczęściej spotykana konstrukcja brzmi: wyłącz, gdy zdarzy się coś gorszego niż najgorsza rzecz zaobserwowana w teście. Jest intuicyjna i ma własność, którą warto zobaczyć liczbowo, zanim zostanie zapisana.

Rachunek prowadzi do wniosków projektowych. Kryterium tego typu trzeba odnosić do długości okresu, a nie do samego progu: „gorsze niż najgorsze z testu" znaczy co innego po stu transakcjach i co innego po tysiącu. Drugi wniosek dotyczy etapu czwartego ze ścieżki — im dłuższy test, tym kryterium jest mniej czułe na fałszywy alarm, co jest kolejnym powodem, żeby tego etapu nie skracać.

Kryterium oparte na braku transakcji

Druga konstrukcja dotyczy sytuacji odwrotnej: reguła nie generuje sygnałów, choć powinna. Jest to sygnał ostrzegawczy odmiennego rodzaju, bo nie mówi o wyniku, tylko o tym, czy reguła w ogóle spotyka warunki, dla których powstała.

Co ma zawierać zapisane kryterium wyłączenia

Zapis, który da się zastosować, wskazuje wielkość obserwowaną, próg, minimalną liczbę transakcji i postępowanie po zadziałaniu. Pierwszy element to wielkość obserwowana, podana wraz z jednostką i sposobem liczenia — najczęściej średni wynik transakcji w pipsach, bo tylko on jest porównywalny z testem niezależnie od wolumenu. Drugi to próg, wyrażony w tej samej jednostce, wraz z okresem, przez który ma być przekroczony. Trzeci to minimalna liczba transakcji, poniżej której kryterium nie jest w ogóle stosowane; bez niej kryterium zadziała na pierwszej serii, która wypadnie niekorzystnie. Czwarty to postępowanie po zadziałaniu: co dokładnie się dzieje, czy wyłączenie jest ostateczne i co musiałoby zajść, żeby reguła wróciła.

Czwarty element bywa pomijany, a jest tym, który odróżnia kryterium od odruchu. Zapis „wyłączam" bez wskazania, co dalej, prowadzi zwykle do ponownego uruchomienia po poprawie wyniku — czyli do decyzji podjętej na podstawie tego samego rozrzutu, który wywołał wyłączenie. Zapis, który tego unika, wskazuje warunek powrotu w postaci sprawdzalnej: powtórzenie etapu czwartego i piątego ze ścieżki na danych obejmujących okres, w którym kryterium zadziałało.

Dlaczego każde takie kryterium myli się w obie strony

Kryterium czułe wyłącza regułę sprawną — pokazuje to pierwszy z rachunków tej sekcji. Kryterium mało czułe pozostawia w działaniu regułę, której warunki się zmieniły, i pozostawia ją tak długo, ile trwa zebranie próby wystarczającej do rozstrzygnięcia. Obie strony tego kompromisu wynikają z jednej i tej samej rzeczy: pojedyncza seria wyników jest zgodna z wieloma różnymi rozkładami, a rozstrzygnięcie między nimi wymaga liczby obserwacji, której narastanie zajmuje tyle czasu, ile zajmuje. Wielkość próby potrzebnej do wykrycia różnicy o zadanej skali jest przedmiotem artykułu 8.2.

Nie ma z tego wyjścia i nie warto go szukać. Jest natomiast różnica między kryterium złym a kryterium zapisanym z góry wraz z jego wadą: pierwsze udaje rozstrzygnięcie, drugie jest jawnym wyborem między dwoma rodzajami pomyłki. Wybór ten należy do projektanta reguły i powinien być zapisany razem z uzasadnieniem, żeby dało się do niego wrócić — bo wraca się do niego zawsze w najgorszym możliwym momencie.

11. Czego ten artykuł nie rozstrzyga

Procedura opisana wyżej jest narzędziem o określonym zasięgu i ten zasięg warto obrysować, bo każde z poniższych ograniczeń zmienia to, co wolno z niej wyprowadzić.

Przejście całej ścieżki nie ustanawia przewagi

Reguła, która przeszła osiem etapów, przetrwała test wrażliwości i ma wypełnioną kartę reprodukowalności, jest regułą dobrze sprawdzoną. To znaczy dokładnie tyle, że nie wykryto w niej wad wymienionych w sekcji 6 — nie znaczy, że wad nie ma, ani że wynik utrzyma się dalej. Test odsiewa pomysły; nie potwierdza trwałej przewagi i nie ma procedury, która by to robiła.

Rozróżnienie jest praktyczne, nie filozoficzne. Zdanie „reguła przeszła procedurę" jest sprawdzalne i wolno je wypowiedzieć. Zdanie „reguła ma przewagę" wymaga dodatkowo oszacowania wartości oczekiwanej po pełnych kosztach wraz z niepewnością, na próbie spoza danych, na których reguła powstała — a to jest przedmiot artykułu 8.2, nie tego tekstu.

Wszystkie liczby w tym artykule są przyjęte

Żaden test nie został wykonany. Wartości w rachunkach — 240 sygnałów, 400 transakcji, 46 przypadków spornych, sześć wartości parametru w dwóch wariantach, 21 sesji między sygnałami — służą wyłącznie pokazaniu, jak liczy się daną wielkość i jaki ma rząd. Podstawienie własnych liczb zmieni wszystkie wyniki, a niektóre zmieni co do znaku. Jeżeli którakolwiek z tych liczb zostanie z tego artykułu przeniesiona jako oszacowanie, to będzie to użycie sprzeczne z jej statusem.

Skąd wziąć regułę wartą sprawdzania

Wszystkie sekcje powyżej odpowiadają na pytanie, czy zbiór reguł da się sprawdzić i czego z wyniku nie wolno wyprowadzić. Żadna nie odpowiada na pytanie, skąd wziąć regułę wartą sprawdzania. Konstruowanie warunków wejścia i wyjścia należy do działu 5, a rozróżnienie rodzin logiki i konsekwencji każdej z nich dla rozkładu wyników — do artykułu 8.7. Procedura testowa zastosowana do przypadkowego pomysłu odrzuci go szybciej; nie zwiększy szansy, że kolejny będzie lepszy.

Warstwa wykonania jest tu wielkością wejściową, nie tematem

Poślizg, odrzucenia i realizacje częściowe wchodzą do modelu kosztów jako liczby, które trzeba skądś wziąć. Skąd — to pytanie o warunki handlu i ich porównywanie, czyli o dział 11. Środowisko, w którym program działa, jego konfiguracja i wymagania techniczne to dział 12. Żadne z tych zagadnień nie zostało tu opisane i nie da się ich wyprowadzić z niczego, co jest powyżej.

Wielkość pozycji i miary ryzyka portfela pozostają poza rachunkiem

Wszystkie wyniki podano w pipsach na transakcję. Przeliczenie na walutę rachunku wymaga wartości pipsa, a więc wolumenu, i jest osobnym zagadnieniem. Zmiana wolumenu nie zmienia ani jednej liczby w tym artykule — zmienia natomiast wszystko w rachunku, którego ten tekst nie prowadzi. Reguły ustalania wielkości pozycji, miary przebiegu kapitału i zarządzanie zestawem kilku reguł naraz należą do działu 9.

Zachowanie po wyłączeniu jako temat innego działu

Kryterium wyłączenia zostało omówione jako konstrukcja o dających się policzyć własnościach. To, co dzieje się z osobą, która musi je zastosować w chwili, gdy wynik jest niekorzystny, jest zagadnieniem z działu 10 i nie zostało tutaj podjęte. Warto jedynie odnotować, że zapisanie kryterium przed wdrożeniem jest jedynym momentem, w którym decyzja o nim zapada bez presji wyniku — i to jest cały argument za takim zapisem, bez potrzeby odwoływania się do czegokolwiek poza porządkiem czasowym.

12. Zadanie samokontrolne i przejście dalej

Sprawdzian tego artykułu polega na przeprowadzeniu trzech jego rachunków na liczbach innych niż w treści oraz na wskazaniu braków w opisie cudzego wyniku. Poniżej zestaw danych i rozwiązanie wzorcowe.

Co zrobić z tą procedurą dalej

Kolejność stosowania jest odwrotna do kolejności wykładu. Najpierw wypełnia się kartę z sekcji 8 dla reguły, którą już się ma — bo to zajmuje godzinę i zwykle unieruchamia całą resztę, wskazując dwie albo trzy pozycje, których po prostu nie ma. Potem przeprowadza się test zgodności dwóch odtworzeń, bo bez niego wszystkie liczby dotyczą nieustalonego przedmiotu. Dopiero potem ma sens cokolwiek liczyć.

Trzy wielkości z tego artykułu warto policzyć przy każdym teście, bo są tanie i rozstrzygają najwięcej: udział przypadków o nierozstrzygniętej kolejności wewnątrz świecy, iloraz maksimum do sąsiedztwa oraz zmianę wyniku po podniesieniu kosztu o wielkość odpowiadającą niepewności jego oszacowania. Żadna z nich nie wymaga nowych danych — wszystkie liczy się z tego samego przebiegu, który już został wykonany.

Osobno stoi pytanie, na które ten artykuł nie odpowiada, a które w praktyce rozstrzyga najwcześniej: czy dany sposób pracy jest w ogóle wykonalny przy dostępnych godzinach i przy dostępnym trybie życia. Automatyzacja zmienia w tej sprawie mniej, niż się wydaje — przenosi ciężar z obserwacji rynku na budowę i nadzór, ale go nie usuwa, a monitorowanie z sekcji 10 jest zajęciem regularnym. Eliminację sposobów pracy niewykonalnych przy własnych ograniczeniach przeprowadza artykuł 8.10, którym dział się kończy.

Jarosław Wasiński

Redaktor naczelny MyBank.pl • Analityk finansowy i rynkowy

mgr Jarosław Wasiński — niezależny analityk i praktyk z ponad 20-letnim doświadczeniem w sektorze finansowym. Twórca i redaktor naczelny portalu MyBank.pl, dostarczającego rzetelną wiedzę o finansach osobistych, bankowości i inwestycjach od 2004 roku.

• Bankowość i produkty finansowe: porównania kont osobistych i firmowych, analiza taryf opłat, testy aplikacji mobilnych, recenzje kredytów, lokat i kart kredytowych — z naciskiem na realne koszty i ukryte opłaty.
• Rynki finansowe i makroekonomia: analiza fundamentalna rynków walutowych (Forex) i makroekonomicznych od 2007 roku, zarządzanie ryzykiem kapitału, struktura rynków OTC.
• Kryptowaluty: analiza rynku kryptowalut, mechanizmów blockchain i tokenizacji aktywów w kontekście portfela inwestycyjnego.

Autor setek komentarzy rynkowych, analiz porównawczych produktów bankowych i materiałów edukacyjnych. Zwolennik transparentności — każdy ranking i recenzja na MyBank.pl opiera się na jawnej metodologii i zweryfikowanych źródłach (taryfy banków, regulaminy promocji, dane NBP).

Treści mają charakter edukacyjny i informacyjny — nie stanowią porady inwestycyjnej, rekomendacji ani oferty. Decyzje finansowe podejmuj na podstawie własnej analizy i konsultacji z doradcą.