Visszatesztelési útmutató

Ezzel az útmutatóval az a célom, hogy átfogó képet kapj arról, miért és hogyan célszerű a visszatesztelésről gondolkodnod. A kifejtés során érintem a stratégiaalkotás témáját is, valamint kitérek a visszatesztelés, az optimalizálás és a jó minőségű adatok beszerzésének tárgyköreire is.

A visszatesztelés (backtesting, backtest) egy általános módszer arra, hogy kiderüljön, hogyan teljesített egy kereskedési stratégia a múltban. Bár a múltbéli eredmények egyáltalán nem jelentenek garanciát a jövőbeli eredményekre, az elmélet szerint, ha egy stratégia egy adott beállítással jól teljesít a múltban, akkor ugyanazzal a beállítással várhatóan jól teljesít majd a jövőben is – ha ez nem így lenne, akkor értelmetlen lenne a visszateszteléssel foglalkozni.

Mivel azonban a piac folyamatosan változik, időről időre szükséges a beállítások újratesztelése, illetve újraoptimalizálása. Vagyis szinte biztos, hogy ha találsz egy profitos beállítást, az nem lesz képes a végtelenségig ugyanilyen eredményes maradni.

Egy megfelelő alapossággal elvégzett, profitos eredményeket hozó visszateszt biztosítja a kereskedőt arról, hogy a stratégia alapvetően megbízható, és a valóságban alkalmazva valószínűleg nyereséget fog hozni. Ezzel szemben amennyiben a visszateszt nem eredményes, a kereskedőt a stratégia adott beállításainak módosítására, vagy akár a stratégia teljes, vagy részleges módosítására készteti.

Mielőtt a visszatesztelésről beszélnénk, beszélnünk kell a kiöregedés jelenségéről és arról, hogy mit tehetsz ellene.

A stratégiafejlesztés egyik legnagyobb problémája, hogy a szisztéma nem marad nyereséges a jövőben. Ennek több oka is lehet.

Korábban már írtam arról, milyen főbb lépésekből áll össze egy kereskedési stratégia. Részletezve egy nyereséges szisztéma (nagy vonalakban) a következő lépések útján állítható elő. Figyelem! Korántsem biztos, hogy minden esetben elérhető a siker. Az alábbi listán bármelyik pontnál el lehet akadni: a siker egyiknél sem garantált még akkor sem, ha mindent jól csinálsz.

Annak érdekében, hogy a stratégia hosszabb távon is nyereséges maradjon, elengedhetetlen, hogy egyes pontokat időnként újra és újra elvégezzünk. Előfordulhat, hogy a terméken, amelyre létrehoztuk a stratégiát, hónapokig vagy évekig nyereségesen működik a rendszerünk, de megtörténhet akár az is, hogy egyik napról a másikra “elromlik” a stratégia. Érdemes elfogadni, hogy a világ, a piac és ezáltal a piac árfolyammozgásai is folyamatosan változnak. Ezeket a változásokat időben fel kell ismernünk, és reagálnunk kell rájuk, ellenkező esetben szisztémánk egyszerűen kiöregszik.

Amennyiben a kiöregedés jeleit tapasztaljuk (például a gyengülő hozamból), érdemes végiggondolni, hogy a fenti lista mely pontjait vesszük ismét górcső alá. Lehetséges, hogy csupán a visszatesztelés és optimalizáció folyamatába kezdünk bele, de megtörténhet az is, hogy a szisztémánk alaptézisét, vagyis beszállási jelünk módszertanát állítjuk a feje tetejére.

A kiöregedés után térjünk vissza a visszatesztelés témaköréhez, és nézzük meg, hogy milyen típusú módszerek állnak a rendelkezésünkre.

Alapvetően kétféle módszer áll rendelkezésünkre: az egyik a kézi, a másik pedig az automatizált visszatesztelés.

Kézi visszatesztelés során a kereskedő igyekszik a lehető legpontosabban megvizsgálni a lehető legtöbb be- és kilépési helyzetet a chart múltbéli gyertyáin. Optimális esetben a kezdeti stop loss és take profit megállapítása is a stratégia szabályai mentén történik, és az is elősegíti a minél pontosabb eredmények előállítását, ha a menedzselési folyamatok végrehajtása is a lehető leginkább közel áll a stratégia pontos szabályaihoz.

Minden kereskedési platformban, így az MT4-ben és az MT5-ben is van lehetőség a manuális visszatesztelésre. A kézi visszatesztelés kétféleképpen történhet: az egyik, amikor egy valós idejű charton mi magunk, a másik pedig, amikor vizuális visszatesztben, experttel végezzük. A tesztelés mindkét esetben humán ellenőrzéssel történik a charton úgy, hogy a stratégiához szükséges indikátorok és objektumok csatolva vannak a grafikonhoz. A nehézséget mindkét esetben az okozza, hogy az ember könnyen hibázik, és a legnagyobb odafigyelés ellenére is becsúsznak rosszul kiértékelt helyzetek, amelyek torzítják a végső statisztikát.

A valós idejű charton történő visszatesztelés lehetőségei korlátozottak: egyszerűen elhúzzuk a chartot a múltba, egy kiválasztott dátumhoz, majd onnantól kezdve az F12 billentyű segítségével léptetjük a chartot, és objektumokkal jelöljük a ki- és belépési helyzeteket. Ez a módszer rendkívüli kitartást kíván, sok a hibalehetőség, és kifejezetten fontos körülmények maradnak ki a tesztelésből (pl. nyitáskor és záráskor érvényes spread, hogy mást ne mondjak). Meg kell említenem továbbá azt is, hogy sok esetben öntudatlanul csemegézünk, vagyis bekötünk olyan ügyleteket, amelyek valójában nem teljesítik maradéktalanul a belépési szabályokat, és kihagyunk olyan szignálokat, amelyek pedig maradéktalanul teljesítették az entry szabályait, csupán valamiért úgy döntöttünk, kihagyjuk őket.

Egy fokkal fejlettebb tesztelési módszer, ha például a vizuális visszatesztelés során egy kereskedési segédeszközzel dolgozunk. Ez egy olyan expert, amely a mi utasításunkra (például gombnyomásra, vonalak mozgatására stb.) végzi a be-, és kiszállást, illetve képes a beállított paraméterek mentén menedzselni az ügyleteket a múltbéli adatokon. Az expert grafikus felületének funkcióival (régebbi programoknál mindenféle plusz szkriptek segítségével) bármikor nyithatunk, zárhatunk, és menedzselhetünk. Ilyen MT4-es expert például az általam készített Risk Manager is.

A gyeplő ennél a módszernél is a mi kezünkben van, így itt is várható némi pontatlanság, hiszen nem vagyunk gépek.

Ha pontos végrehajtásra van szükség, akkor erre a célra ott van az automatizált visszatesztelés lehetősége.

Mivel az egyszerűbb stratégiák is tartalmazhatnak olyan szabályokat, amelyek humán végrehajtása nehézségekbe ütközik, a komplexebb szisztémák pedig szó szerint kivitelezhetetlenné teszik a hatékony kézi visszatesztelést, szükségessé válhat a gépesített visszatesztelés.

Az automatizált visszatesztelés során a kereskedési stratégia lehető legtöbb szabályát előbb algoritmussá, azt követően pedig programkóddá formáljuk. Minden olyan dologból előállítható egy szabályrendszer, amely számszerűsíthető, illetve matematikailag leírható. Az algoritmus megalkotásához érdemes igénybe venni egy programozó segítségét.

A programkód által előállt expert (vagy indikátor) működésének teljes és alapos ellenőrzését követően lehetőség van arra, hogy eredményesen vizsgáljuk a stratégia viselkedését a visszamenőleges adatokon.

Az egyszeri, illetve kötegelve futtatott tesztek eredményeinek kiértékelése alapján lehetőség nyílik javítani a stratégia beállításain, vagy a stratégiában található módszereken még bonyolultabb szisztémák esetében is.

Szerencsére a MetaTrader platform 4-es és 5-ös verziója is lehetőséget biztosít az automatizált visszatesztelésre, a két szoftver közül az MT5 képességei a magasabbak. Ebben az útmutatóban nem célom a két szoftver felületének bemutatása és a tesztelés műveletsorának konkrét leírása, ezt külön útmutatókban teszem meg (lásd Visszatesztelés a gyakorlatban bekezdés).

Lássuk, milyen alapfogalmak merülnek fel a visszatesztelés kapcsán!

Az egyszeri visszatesztelés során egyetlen kereskedési stratégia tesztjét futtatjuk le, egy kiválasztott időszakon. Az így kapott eredmény nem lehet mérvadó akkor, ha mindösszesen pár tesztelés történt az adott beállítással, így célszerű több tesztet futtatni, több időszakon (erről később lesz szó, a Walk Forward analízis részben).

Az ilyen visszatesztelés során nem követjük vizuálisan a stratégia történéseit, a teszt végén a tranzakciók összesítő táblázata, valamint a kimutatás statisztikája jelenik meg.

Mind az egyszeri visszatesztelés, mind pedig az alább kifejtett módszerek esetén érdemes figyelembe venni a tesztelési folyamatok végén esetlegesen kialakuló „close at stop” és „end of test” üzeneteket.

Az egyszeri visszatesztelés történhet bekapcsolt vizuális móddal is, ilyenkor a felület mindent megjelenít számunkra. Ez azt jelenti, hogy a kereskedési stratégiához kapcsolódó indikátorok és objektumok csatolva vannak a charthoz, illetve pontosan látszódnak a robot által kirajzolt grafikus elemek is. A pillanat-állj funkció segítségével könnyen kielemezhető egy-egy helyzet, és a módosított paraméterekkel történő ismételt futtatás során megvizsgálható, hogyan reagál rájuk a stratégia.

Mivel a teszt során millió szimulált vagy valós adat alapján generált árfolyamelmozdulás történik, a teszt sebessége lényegesen lassabb lesz a megjelenítés miatt. Éppen ezért a tesztelés során célszerű a vizuális tesztelést kikapcsolni. Fontos kivételek a tesztelni kívánt kereskedési robot műszaki próbájának vizuális visszatesztjei, hiszen ki kell zárni a programozói hibákat, illetve az esetleges félreértéseket is, ezekhez pedig kitűnő segítséget nyújt a vizuális megjelenítés.

Az optimalizáció egy folyamat, amely során egymást lépcsőzetesen követő, különböző bemenő paraméterekkel, de ugyanazon múltbéli adatokon végzünk kötegelt tesztelést. Ez a folyamat lényegében azonos azzal, mintha fognánk magunkat, és a választott paraméter (vagy paraméterek) különböző értékeivel lefuttatnánk ugyanazt a visszatesztet.

Lássunk egy példát: van egy egyszerű stratégiám, amely a mozógátlag alulról felfelé történő átzárásakor buy, ellentétes esetben pedig sell pozíciót nyit. Minden ügyletnél azonos kockázatot, SL és TP távolságot alkalmazok, menedzselés nélkül. Az egyszerűség kedvéért most egyetlenegy paraméterre fókuszálok, minden más tényező irreleváns a példa szempontjából. Az MA-nak sok paramétere létezik, engem viszont csak az érdekel, hogy melyik mozgóátlag periódus az, amelynél a lehető legtöbb nyertes ügylet születik. A vizsgált idősík legyen M5, a tesztelt időszak hossza 1 év. Kíváncsi vagyok arra, hogy milyen eredmények születnének erre az egy évnyi időtartamra, ha a 30-as, 40-es, 50-es és 60-as mozgóátlagot használnám.

Ha ezt kézi visszateszteléssel kellene véghez vinnem, az már egy periódus esetén is irtózatos munkaidőt igényel, ráadásul gigantikus a hibalehetőségek száma.

Ha egymás utáni, egyszeri visszatesztek futtatásával végzem el a feladatot, az már jóval kevesebb időt vesz igénybe, és az egyes teszteken belüli hibalehetőség minimális. Mivel azonban az egyszeri tesztek között az MA periódus paraméterének módosítását kézzel végzem, ebben az esetben is hatalmas az elkövethető hibák száma.

Ha viszont segítségül hívom az optimalizációt, csak egyetlen egyszer kell megfelelően beállítanom a paramétereket, majd megnyomni a gombot, és hátradőlni. A paraméterek megadásakor a mozgóátlag periódusánál a szokásos önálló érték helyett a következőket tesszük: bejelöljük a paramétert optimalizálásra, megadjuk a kezdeti értéket (30), a végső értéket (60), és a lépésközt (10). A kereskedési szoftver lefuttatja a vizsgált paramétert a megadott intervallumban, és kigyűjti a teszteredmények legfontosabb tulajdonságait, úgymint eredmény, lehívás mértéke, profitfaktor stb.

A valóságban általában több paramétert optimalizálunk. Mivel gyakorlatilag szinte bármilyen kezdő, végső és lépésköz érték megadható, fontos figyelembe venni, hogy a kombinációk száma könnyen megnövekszik, ezért érdemes mértéket tartani. Ennek egy lehetséges módja, hogy először nagyobb lépésközzel optimalizálunk, a kapott eredmények fényében pedig az érdekesebb zónákat vizsgáljuk meg ismét, kisebb lépésközökkel.

Hamarosan külön bejegyzésemben részletezem a MetaTrader4 optimalizációs folyamatait és képességeit.

A Walk Forward Analízis (Walk Forward Analysis, WFA) során egy adott múltbéli idősoron végezzük az optimalizálást, majd annak eredményét a vizsgált időszakon kívüli időszakon, illetve időszakokon validáljuk, végül a mintavételen kívüli időszakok eredményét együttesen vizsgáljuk. Ezt a módszert eredetileg Robert E. Pardo amerikai befektető tárgyalta. Célja, hogy elkerüljük a túloptimalizálást és az adott idősorra történő optimalizálást, és lehetővé teszi, hogy a kereskedési stratégia optimálisnak vélt paramétereit validálhassuk.

Az analízis elvégzéséhez múltbéli adatokra van szükségünk. Ez a historikus adatszegmens a következő két típusra oszlik:

A folyamat lényege, hogy a mintavételen belüli adatokon előállított, optimálisnak várt paramétereket a mintavételen kívüli adatokon teszteljük, hogy kiderüljön, hogyan teljesített volna a kereskedési rendszer a múltban, ha azt használták volna. Ez a tesztelési típus a „mintán kívüli” tesztelés gondolatát viszi tovább a következő szintre, a kereszthitelesítés néven ismert technika speciális alkalmazásával. Ez azt jelenti, hogy a múltbéli adatok egy szegmensét a rendszer optimalizálásához, egy másik szegmensét pedig az adatok validálásához használja fel.

Példa: optimalizáljuk a múltbéli adataink egy szegmensét, mondjuk 1000 napot, majd teszteljük a kiválasztott eredményt a soron következő 200 napra a múltban. Ezután gördítsük az egészet előre 200 nappal, és ismételjük meg a folyamatot. Így nagy mintán kívüli tesztelési időszakot biztosítottunk a megfelelőnek vélt beállítások tesztelése számára, és lehetővé vált, hogy lássuk, mennyire stabil a rendszer az idő múlásával. A példánkban az 1000 nap a mintavételen belüli, a 200 pedig a mintavételen kívüli időszak.

Tegyük fel, hogy egy mozgóátlag alapú stratégiát szeretnénk megvizsgálni M1-es idősíkon. Első lépésként a múltbéli időszak első 3 hónapjára futtatunk optimalizációt, amely alapján az derül ki, hogy a 20 periódusú mozgóátlag volt az optimális. Ezt követően egyszeri visszateszt segítségével lefuttatjuk a 20-as periódusú beállítást a múltbéli időszak 4. hónapjára, majd a kapott teszteredményt validáljuk a nyereség, a hozam/kockázat, a drawdown (lehívás) vagy bármely más, érdeklődésre számot tartó statisztika alapján. A további lépések során megismételjük az optimalizálást a 2-4. hónap adatainak felhasználásával, majd az 5. hónap adatainak felhasználásával validáljuk, és ezt addig ismételjük, amíg az adatok végére nem érünk. A validálási hónapokra (4-13) kapott teljesítmény a mintán kívüli teljesítmény.

A valós idejű tesztelés (forward testing, paper trade testing) egy másik, mintán kívüli adathalmazt biztosít a kereskedők számára, amely alapján értékelhetik a rendszert. Ez már a tényleges kereskedés szimulációja, és magában foglalja a rendszer logikájának követését az élő piacon.

A paper trade testing, vagyis “kereskedés papíron” elnevezés a múltból származik, amikor is az összes kereskedést csak papíron hajtották végre; azaz a kereskedés be- és kilépései dokumentálásra kerülnek, a rendszer esetleges nyereségével vagy veszteségével együtt, de tényleges végrehajtásukra nem kerül sor.

A valós időben történő kézi kereskedés során fontos szempont, hogy pontosan kövessük a rendszer logikáját; ellenkező esetben nehéz, ha nem lehetetlen az eredmények pontos értékelése. Ugyanez igaz a robotos kereskedésnél is, hiszen ekkor ugyan robot végzi a legtöbb cselekvést, azonban a robot paraméterei szabadon és bármikor állíthatók. A nem kívánt paramétermódosítások ugyanúgy torzítást okoznak a kiértékelés során, mint a kézi kereskedés során elkövetett szabálytalanságok. Őszintének kell lennünk magunkhoz a be- és kilépésekkel kapcsolatban, és kerülnünk kell az olyan viselkedést, amely szabályszegést eredményez.

Gyakran előfordul például, hogy szabály szerint végre kellene hajtani egy ki- vagy belépést, de az adott pillanatban valamilyen külső vagy belső ok miatt felülbíráljuk az adott belépési szignált. Külső akadályozó körülmény például a „mennem kell a gyerekért az oviba, és már nincs időm megkötni ezt az ügyletet”, de akadályt gördíthet elénk a belső hangunk is, amely az „ezt a trédet úgysem vállalnám” gondolatot mantrázva racionalizálja a szabályszegést.

A MetaTrader 4 kereskedési platformon történő visszatesztelés kapcsán figyelmedbe ajánlom az alábbi tartalmakat:

Kérj tőlem segítséget, és megoldom a felmerülő problémáidat, kérdéseidet!