Jó minőségű backteszt adatok

Ez az oldal arról szól, hogy hogyan tudunk 4-es MetaTrader terminálunkba ropogós adatokat szerezni külső forrásból. Idézet egy korábbi cikkemből:

Nyilván mindenki megélte már, hogy backtesztelés előtt / után / közben mennyire idegesítő az, hogy nincsenek vagy hiányoznak az adatok egy bizonyos időszakra. Az adatok pontosságáról, részletességéről meg inkább nem beszélnék – brókere válogatja. Milyen jó lenne ha pontos, akár perces adataink lennének több évre visszamenőleg? És milyen jó lenne, ha az eredeti tickek adatai is rendelkezésre állnának? Nos, a tutorial ezen adatok beszerzéséről, konvertálásáról és használatáról szól – nem csak expert advisor fejlesztőknek!

Ezen az oldalon összegyűjtve próbálom tálalni a blogon eddig publikált információkat a témát illetően. A jövőben folyamatosan itt fogom letölthetővé tenni az adatok készítéséhez és használatához szükséges szkriptek frissítéseit is, melyet a téma szakértőjének, Birtnek köszönhetünk. Jómagam csak a magyar fordítás készítője vagyok.

Legfrissebb leírások

Mivel egyre több oldal és bejegyzés van a témában a blogon, a leginkább javasolt kiindulási pont a Bevezető oldala. Onnan minden lap alján tovább lehet lépni a következő lépésre, ugyanakkor a legtöbb korábbi cikkre van link a leírásokban.

Bevezető a pontos adatokhoz
Publikálva: 2012. március 23.

Tartalom: kiindulópont a 2012 márciusában legaktuálisabb információk eléréséhez a témában.

1. lépés - Adatok letöltése - lehetséges források
Publikálva: 2012 március 23.

Tartalom: cikk arról, hogy honnan szerezhetünk be folytonos adatokat a Dukascopy-n kívül. 

2. lépés - Adatok konvertálása MT4 számára (CSV2FXT módszer)
Publikálva: 2012 április 9.

Tartalom: hogyan lesz a CSV adatokból FXT és HST formátumú, MT4 számára "ehető" formátum a CSV2FXT nevű szkript segítségével.

2. lépés - Adatok konvertálása MT4 számára (TickStory Lite módszer)
Publikálva: 2013. február 16.

Tartalom: az előző lépés egy alternatívája. A TickStory Lite nevű ingyenes szoftverrel könnyedén tudunk adatokat készíteni a MT4 számára.

Korábbi cikkek, leírások

Pontosabb használata a backtesztek során
Publikálva: 2010 októberében

Tartalom: mindenképpen javaslom elolvasni a cikket, habár a benne taglalt letöltési módszernél már van könnyebb megoldás is. Aki retteg az informatika mélyebb bugyraitól, az hagyja ki a php-s konvertálásra vonatkozó részeket!

Kiegészítés az egyénileg elkészíthető adatokhoz
Publikálva: 2010 novemberében

Tartalom: a Metatrader újabb buildjei indokolták a frissebb betöltőkről szóló cikket, valamint házilag beleeszkábáltam az állítható tőkeáttétet a konvertáló szkriptbe. Ezt a funkciót azóta javasoltam Birtnek, aki bele is rakta a programba.

Pontosabb adatok – egyszerűen
Publikálva: 2011 januárjában

Tartalom: a Dukascopy nevű brókercég JForex nevű platformja segítségével pár egérkattintással letölthetőek a különböző instrumentumok adatai, melyeket utána viszonylag könnyen lehet konvertálni. A cikk erről szól.

Változások a pontosabb adatokkal való backtesztelés kapcsán
Publikálva: 2012 márciusában

Tartalom: összefoglalás azon változások kapcsán, amely a pontos adatokat érinti - többek közt arról, hogy mi is az a Tick Data Suite.

Frissítések, újdonságok
(folyamatosan bővítve az új infókkal)

2013/02/16 - A leírások bővültek a TickStory Lite-tal történő konvertálás mikéntjével.

2012/12/16 - Két megjegyzéssel bővítettem az "Adatok konvertálása MT4 számára olvasható formátumra" cikket.

2012/11/21 - Letöltő/konvertáló szkriptek letöltései frissültek

2012/03/23 - Letöltő/konvertáló szkriptek letöltései frissültek + leírás a Tick Data Suite-ről

2012/03/17 - Új Birt's patch verzió, letölthető lentebb. 409-es verzióig bezárólag működik.

2012/02/07 - Új birt's patch verzió, letölthető lentebb. A konvertáló szkriptek kapcsán változások lesznek, amelyekről hamarosan értesítelek benneteket ezen az oldalon keresztül.

2011/11/30 - A letölthető birt's patch frissítve lett, ezzel már működnek az egymás utáni tesztek Vista és 7 alatt is.

2011/11/10 - A 402-es buildnél újabb terminál esetén amennyiben Windows Vista vagy Windows 7 esetén backtesztelsz: előfordulhat az a hiba, hogy a második teszt esetén a terminál "elszáll". Erre egyelőre nincs ismert megoldása az egyedi tesztelhetőség eredeti ötletgazdájának, birtnek sem.

2011/11/09 - Pár napja kijött a 409-es build verzió. Egyelőre még nincs betöltő ehhez a verzióhoz, azaz jelenleg a 409-es verzióval nem megoldott a konzerv adatokkal történő tesztelés. Amint lesz módosított birt's patch vagy egyéb loader, a frissítés itt lesz megtalálható. A lap alján letölthető loaderek és a birt's patch is tökéletesen kezelik a 409-es verziót. Ha nem működik, akkor valószínűleg az az ok, hogy régebbi birt's patch-el próbálkozol.

2011/06/04 - Birt általános loadert készített. Ennek oka az volt, hogy egyre több Metatrader build verzió látott napvilágot. A loader-generic.exe első futtatásakor megkeresi azokat a memóriaterületeket, amelyeket át kell írnia annak érdekében hogy elérhetővé váljon a több teszt futtatása egyetlen terminálból. A legközelebbi indításnál is a loader-generic.exe -vel indítsuk a terminált!

2011/09/11 - A 405 és 406 -os build verziókban lényeges eltérések vannak a korábbi változatokhoz képest, amik komolyan érintették a házilag készített adatok felhasználhatóságát. Ennek eredményeként az új generic loader csak 405 és annál újabb buildekkel működik - a régi változat az "old" könyvtáron belül található meg.

A változtatások "melléktermékeként" a Visual C 2010 runtime telepítése után a Windows XP/Server 2008 felhasználók számára is elérhetővé válik a 2 gigabájtnál nagyobb fxt fájlok használata. (csak 405 build és annál újabb terminálok esetén) 

A Visual C Runtime letöltését lentebb találjátok meg.

Letöltések

Birt's patch legújabb változata
Feltöltve: 2012. március 17.
Tartalom: a konvertált adatokkal való tesztelést segíti elő
Letöltés: kattints ide

FXT/HST létrehozó (konvertáló) szkriptek
Feltöltve: 2012. november 21.
Tartalom: a CSV->FXT/HST konvertáláshoz használható fájlok
Letöltés: kattints ide

MQL szkriptek
Feltöltve: 2012. március 23.
Tartalom: a konvertáláshoz és használathoz szükséges szkriptek.
Letöltés: kattints ide

MT4 betöltők (loaderek)
Feltöltve: 2011. szeptember 15.
Tartalom: egy terminálkönyvtárból több teszt egyidejű futtatásához nyújtanak segítséget a loaderek. A csomag tartalmaz egy általános (generic) betöltőt is. (régi fájlok, javallott a frissebb csomagok használata!)
Letöltés kattints ide

Visual C 2010 Runtime (x86)

Visual C 2010 Runtime (x64)

Van más mód a kész adatok beszerzésére?

Az adatok ingyenesen hozzáférhetőek a fenti módszerrel. Ha elakadsz, természetesen igyekszem segíteni.

Amennyiben nem vagy nagy barátságban az informatikával és/vagy nem szeretnél a letöltéssel, konvertálással időt tölteni akkor keress meg, és némi költség fejében legenerálom és telepítem a kívánt adatokat a számítógépedre!

Kérdésem van, feltehetem neked?

2012. március 11-ikétől egy új fórum áll rendelkezésetekre a kérdések feltételéhez. Mivel az itteni kommentek egy idő után követhetetlenek, a fórumban témák szerint lehet majd böngészni a korábban feltett kérdéseket.

Az MQL kódkiemelés a fórumban csak később válik elérhetővé.

Az alábbi űrlapon keresztül új témát tudsz indítani a pontosabb adatok kapcsán.
A mezők jelentése:

Téma címe

A kérdés témaköre, megnevezése. Maximum 80 karakter lehet.
Például: “Miért nem köt a robotom?”

Téma leírása

A téma induló hozzászólása, melyben részletezed a problémád/kérdésed.

Téma címkék

Olyan kulcsszavak, melyek jellemzőek a kérdésedre. Ezzel megkönnyíted a jövőben hasonló problémával kapcsolatban keresgélő olvasók dolgát. A kulcsszavakat vesszővel válaszd el!
Például: szkript,konvertálás

Értesíts e-mailben, ha válasz érkezik

Amennyiben szeretnél e-mailben értesítést kapni ha valaki hozzászól az általad feltett kérdésre, jelöld be ezt az opciót! Ezt egyébként más, számodra érdekes témáknál is megtehed a “Feliratkozás” link segítségével, melyet minden téma első hozzászólásának fejlécében találsz meg.

 

Címlap Fórumok Hasznos eszközök Kérdések a pontos adatokkal kapcsolatban

Ennek a fórumnak a tartalma: 25 témakör és 295 válasz, utolsó frissítés:  Radulovic Attila 8 hónap, 3 hét.

15 témakör megtekintése : 1-15 / 25
15 témakör megtekintése : 1-15 / 25

Új témakörök létrehozásához jelentkezz be, vagy regisztrálj!

Oszd meg, ha hasznosnak találtad!

21 hozzászólás a(z) “Jó minőségű backteszt adatok” bejegyzéshez

  1. Visszajelzés: Pontosabb backteszt adatok Metatrader terminálok számára | Radu MetaTrader blogja

  2. Visszajelzés: Hogyan készíthetünk pontosabb adatokat backteszthez? | Radu MetaTrader blogja

  3. Visszajelzés: Kiegészítés az egyénileg elkészíthető adatokhoz | Radu MetaTrader blogja

  4. Visszajelzés: Betöltő 228 és 229 build számú MetaTraderhez | Radu MetaTrader blogja

  5. Tisztelt Radu

    Nagyon nagy respekt és tisztelet azért a befektetett időért és energiáért amit ebbe a blogba fektettél. Rengeteget tanultam innen az oldalról és a magyarra fordított MQL könyvből. Írok egy expertet ami úgy tűnik működik is, most szeretném tesztelni de nem megy. Pontosabban a history center adataival már teszteltem, de a dukascopy adatait nem tudom helyesen beimportálni. Nagyon el vagyok keseredve e miatt. Mindent végigcsináltam a leírtak szerint és többé kevésbé működik is, a probléma amit nem tudok megoldani: EURUSD letöltve 2007-től 2011.11.18-ig.
    A konvertálások hiba nélkül végigfutottak. Kitöröltem a régi adatokat, helyükre tettem az újakat. Átállítottam a megjelenítendő bárok számát maximumra. Használom az exe-s betöltőt. Az adatok 2010.06.03-ig hibátlanok azután egy 2011.11.18-i bár és utána ?? 2011.12 hó és ?? 2012.12 havi néhány bár. Már háromszor végigcsinálta az egész procedúrát, hátha nem töltötte le rendesen az adatokat.(sajnos ellenőrizni nem tudom nincs programom ami meg tudna nyitni egy 5Gb-os CSV file-t). Próbáltam a loader helyett a Birt’s szkriptet, az eredmény ugyanaz (
    Segítéget szeretnék mi lehet a gond.
    (Erőmű szgép.16Gb ram stb., Win7 x64, MT4buil409, szkriptek loader a blogról letölthető utolsó verziók)
    Köszönettel Povi

    • Örülök, hogy tetszik a blog! Úgy tűnik, hogy mindent jól csinálsz. Nézz bele a csv fájlba (a Total Commander nézőkéjével (F3) belekukkanthatsz a fájlba; a végére menj el, hogy meddig van letöltve adat), hogy egyáltalán benne vannak-e a kérdéses időszakra vonatkozó adatok.

  6. Köszönöm a válaszod.
    Közben megoldódott a problémám. Újra olvastam a blog ide vonatkozó részeit és a hozzászólások között találtam valamit ami bogarat ültetett a fülembe. Zsoolt írta: "Ha rossz loadert használtok, akkor a backtest a 2GB fölötti fájl esetén csak 2GB-ig lát, és nem csinál semmit felette". A betöltő jó volt ugyan, de a "nem csinál semmit felette" nagyon is ismerős volt. A hiba, hogy én egyben letöltöttem a 2007-2011-ig terjedő időszakot. Ami több mint 5Gb volt. A szkript meg csak 4GB-ig dolgozott vele a maradékot "eldobta". Újra letöltöttem a CSV-t, de most 2008.03.01-től, így már csak 3.94Gb lett. Ezt konvertálva már jól működik a chart.
    Még valami. Windows 7 alatt, ha nem a C:\ meghajtóra van telepítve a Meta hanem egy másik partícióra, akkor nem használja a virtualizációt és a generált fájlokat az eredeti helyre az expets/files mappába írja.
    Üdv Povi

  7. Szia Radu!

    Most talaltam ra az oldaladra, es le vagyok nyugozve. Borzaszto halas vagyok az infokert! Eppen toltodnek lefele a tick-ek :)

    Elozoleg talaltam mashol is letoltheto tick data allomanyokat. De sehogy sem tudtam feldolgozni.
    http://www.truefx.com/?page=downloads
    regisztralni kell ugyan, de csv-be le lehet szedni kulon-kulon minden honapot 2009-2011-ig.
    Szerinted lehet ezekkel is kezdeni valamit? Csak alternativa-kent.

    Masik kerdesem, hogy tobb reszletben is fel lehet dolgozni az adatokat? Mondjuk minden evet kulon szeretnek leszedni, utana ossze lehet/kell fesulni valahogy?

    koszi a valaszt elore is,
    Attila

    • Hello Attila!

      Örülök, hogy tudtam segíteni az infókkal. A tickek letöltése csak az elején nyűgös, amikor csak folyamatosan a napi "újdonságokat" töltöd le, annyira nem vészes. A Truefx-es csv-ket is lehet, hogy fel lehet használni - egyelőre nem jött meg a regisztrációs visszaigazoló levelem. A lényeg, hogy a csv ugyanolyan struktúrában legyen, mint ahogy a Dukascopy-s - így a szkriptekkel feldolgozhatóvá válik ez az adattömeg is.

      Másik kérdésed kapcsán: én jó ideig úgy használtam az adatokat, hogy generáltam belőle 2008/2009/2010/stb. FXT fájlokat. Windows XP-n 2 gigabyte-os, Vista és 7 alatt 4 gigabyte-os korlát van - ennek fényében érdemes lehet elkülöníteni az éveket. De alapvetően nem muszáj.

  8. Köszi szepen meg1x!
    A TrueFX reget nem értem, nekem 1ből jött. Lehet spambe ment? Mindegy, majd megnézem az adatokat, és leírom. Arra emlékszem, hogy a TrueFXnél a dátum mellett,csak 2 adatoszlop volt.

    • Basszus nem stimmel a 2. A Dukasnal van volume data is, viszont a datum az mp alapu. A Thinkforexesnel van symbol, milisec is van a datumban, de utana csak ket adatoszlop (feltetelezem Ask es Bid), ja es nincs header.

      Dukascopy:
      Time,Ask,Bid,AskVolume,BidVolume
      2009.01.01 22:02:09,1.40605,1.40525,1.6,1.6
      2009.01.01 22:02:09,1.40605,1.4053,1.6,2.4
      2009.01.01 22:02:10,1.40615,1.40535,1.6,1.6
      2009.01.01 22:02:12,1.40605,1.40535,2.4,1.6

      TrueFX:
      EUR/USD,20110102 21:50:01.700,1.33212,1.3374
      EUR/USD,20110102 21:50:01.739,1.3345,1.3374
      EUR/USD,20110102 21:50:01.901,1.33341,1.33611
      EUR/USD,20110102 21:50:01.965,1.3345,1.33611

    • Az, hogy nincs header nem baj. Az sor elejéről törlöd az EUR/USD szöveget, a dátumot pedig át lehet alakítani. A kérdés inkább az, hogy a TrueFX-esnél mit jelöl a két érték? Mert a Dukascopy-nál Bid/Ask árat, a Truefx-nél viszont nem hiszem - túl nagy a különbség.

  9. Szervusz!
    Elöször is köszönet, hogy megosztottad velünk a 99%-os adatok beszerzésének módjait. :)

    Napokban végig csináltam müködik is ahogy az le van irva.

    Egyetlen probléma merült fel: a .hst fileok bemásolása után az élő chart nem müködik. oldtick hibár ir a naplóba. Egyik bejegyzésedbe irtál már erről( http://www.radu.hu/faq/mit-jelent-a-naploban-az-old-tick-hibauzenet/ ). Kérdésem csak az a megoldás van, hogy ha backtestelni akarok a letöltött fileokat használom ha az élő chartot akarom nézni akkor meg a metatraderre bizom a filok létrehozását?

    Köszi Koha!

    • Én ilyen problémát még nem tapasztaltam. A generált HST-khez a program hozzáfűzi az újabb adatokat, így ez nem okozhat gondot. Arra figyelj, hogy az adatgenerálás során használt terminálod verziója és a brókercég is legyen megegyező azzal a termináléval, ahol majd az adatokat használni fogod.

  10. Szia Radu!

    Lenne egy kis problémám, tesztnél ha optimalizációt szeretnék futtatni, 2 másodperces gondolkodás után kiszáll az MT4-ből! A normál tesztek lefutnak, szerintem mindent jól csinálok, de hátha mégse. Tudsz segíteni?, Van ötlet?

    Előre is köszi, NZ.

    • Lehet, hogy túl régi a birt's patch, amit használsz. Próbáld meg a legfrissebbet letölteni akár tőlem, akár birt eredeti oldalán. A fájlnév mql_scripts_16.11.2011.zip

      Ha az ebben lévő változat megegyezik azzal, amivel próbálkozol akkor ellenőrizd a verziószámot: ha jól emlékszem, a birt oldalán lévő kommentek tanulságaiból kiderül, hogy az optimalizáció csak 402-es verziókkal működik. Elnézést, ha nem emlékeznék jól!

  11. Köszi a választ, akkor ez a baj, nálam 409-es van fenn!
    A file-okat ellenőriztem, minden a legfrissebb!
    Lehet tudni valamit erről, hogy ez megjavul-e valamikor? Elég macerás lesz az optimalizációt kézzel csinálni........

    • Sajnos ez nem birt hibája - a Metaquotes mindent megtesz, hogy megnehezítse ezt a patkolást.

      Addig csak azt tudom javasolni, hogy keress egy régebbi (402-es) változatot. A téma kapcsán mindenekelőtt böngészd végig a birt oldalán található kommenteket is!

  12. Visszajelzés: Backtesztek hatékony futtatása MT4 platformon | Radu MetaTrader blogja