Adatok letöltése - lehetséges források

Az egyéni backteszt adatokhoz való hozzájutás első lépése az, hogy valahonnan jó minőségű, ún. nyers adatokat szerzünk. Ezen az oldalon leírom, hogy lehetséges egyes adatszolgáltatóktól adatokat letölteni.

Az itt leírt szolgáltatók adatait kezeli Birt CSV2FXT konvertáló szkriptje, ami a korábbi Dukascopy2FXT és JForex2FXT szkripteket váltotta fel.

Ez az oldal Birt angol nyelvű leírásának magyar nyelvű fordítása.

Számomra a favorizált adatszolgáltató a Dukascopy, de ezen kívül a többi forrás is érdekes lehet, bár minőségük igen eltérő.

Dukascopy

Általános információk

A Dukascopy nevű brókercéget sokan nevezik a legjobb brókercégnek mostanság. Éles számlám ugyan még nem volt náluk, de nagyon sokan a "legjobb ECN bróker" címet adják ennek a cégnek. Hátrány, hogy a cikk írásánál időpontjában - 2012. március - még egyelőre nem rendelkeznek natív MT4 platformmal. Az MT4 használat ennek ellenére megoldható, de csak "trükközéssel". JForex nevű, java alapú platformjuk remek alap lehet egy-egy stratégia robotosítására, viszont közelítőleg sincs annyi ingyenes és fizetős szkript, indikátor és robot erre a platformra, mint MT4-re.

A Dukascopy 2007 áprilistól biztosít adatokat a legtöbb instrumentum esetében. Annak ellenére, hogy ingyenesen biztosítják az adatok letöltését, az adatok üzleti színvonalúak.

Az adatok óránként bővülnek, és forrásuk a Dukascopy fő szervere. Összességében: kívánni sem lehet jobb adatokat.

Rendelkezésre álló instrumentumok

AUDCAD AUDCHF AUDJPY AUDNZD AUDUSD
CADCHF CADJPY CHFJPY EURAUD EURCAD
EURCHF EURGBP EURJPY EURNOK EURSEK
EURUSD GBPAUD GBPCAD GBPCHF GBPJPY
GBPNZD GBPUSD NZDCAD NZDCHF NZDJPY
NZDUSD USDCAD USDCHF USDDKK USDJPY
USDNOK USDSEK USDSGD XAGUSD XAUUSD

Hozzájutás az adatokhoz

A legkényelmesebb mód az adatok letöltésére az alábbi két megoldás:

  • A TickStory nevű ingyenes program, mely a letöltést és a konvertálást is megoldja, gyakorlatilag csak türelem kell hozzá, semmi más. A következő két lépés kihagyható; részletes leírásért ide kattints!
  • A StrategyQuant Tick Data Downloader nevű ingyenes program, ami csak az adatok letöltését és CSV formátumba való összefűzését végzi el. Ezt viszont nagyon hatékonyan és megbízhatóan űzi, megkönnyítve dolgunkat.

További lehetőségek a letöltésre:

  • a Dukascopy Historical Data Feed nevű oldala (itt a dátumformátum is választható, viszont ez abból a szempontból lényegtelen hogy az CSV2FXT nevű konvertáló szkript az összes dátumformátumot megeszi!)
  • A JForex platform. Erről korábbi cikkemben olvashatsz részletesen.
  • PHP szkriptek segítségével. Leírást a témában született első cikkemben találsz. Ez a fajta letöltési mód informatikában jártasabb felhasználók számára javallott!

Bármely módot választod is, mindenképpen olvasd el a "Purpose" és "No warranty by Dukascopy" bekezdéseket a Historical Data Feed oldalon. (Lényeg: nincs garancia, az adatokat személyes felhasználásra lehet használni, stb.)

Előnyök és hátrányok

Előnyök

  • többfajta letöltési lehetőség
  • bő időbeli lefedettség
  • nagy választék FOREX instrumentumokból
  • nagyon jó minőség

Hátrányok

  • néhány instrumentum (kisebb keresztárfolyamok, nemesfémek) adata nem 2007-től érhető el
  • 2010 novemberéig az adatok nem könyv szerintiek; az árak 0.5 pipenként változnak.

Pepperstone és Integral

Általános információk

A Pepperstone egy ECN bróker, melyet 2010-ben alapítottak. Hírneve közepes, ügyfeleinek száma folyamatosan növekszik.

Az általuk kínál tick adatot partnerük, az Integral biztosítja mely a világ egyik vezető likviditási szolgáltatója. Az adat minősége magas, helyenként a Dukascopy-nál is alacsonyabb spreaddel.

A legrégebbi adat 2009-től elérhető, főként a nagyobb keresztárfolyamokra. Az adatok a forgalmat (Volume) nem tartalmazzák.

Rendelkezésre álló instrumentumok

AUDJPY AUDNZD AUDUSD CADJPY CHFJPY
EURCHF EURGBP EURJPY EURUSD GBPJPY
GBPUSD NZDUSD USDCAD USDCHF USDJPY

Hozzájutás az adatokhoz

Az adatok letölthetőek a Pepperstone tick data oldalán, vagy a TrueFX letöltések oldalán. Utóbbihoz (ingyenes) regisztráció szükséges.

Az adatok havi bontásban tölthetőek le. Ahhoz, hogy használhatóvá váljanak össze kell fűzni őket - a következő pár lépés erről szól:

  1. töltsd le a számodra érdekes hónapokat (nyilván egymást követőeket érdemes)
  2. tömörítsd ki a zip fájlokat
  3. sorrendben fűzd össze a fájlokat, például így:
    1. Start menü->Futtatás->cmd.exe
    2. menj abba a könyvtárba, ahova a kicsomagolt fájlokat raktad
    3. A type parancs segítségével fűzd őket össze (például: type EURUSD-2011-01.csv EURUSD-2011-02.csv EURUSD-2011-03.csv > EURUSD.csv)

Amennyiben részletesebb leírásra van szükséged a fájlok összefűzése kapcsán, nézz körbe a Google-ben. A letöltést megkönnyíthető egy letöltésmanagerrel, például a DownThemAll -al Firefox böngészőben.

Előnyök és hátrányok

ELŐNYÖK

  • nagyon jó minőség

Hátrányok

  • az adatok legkorábbról 2009-ből érhetőek el
  • az adatok havi bontásban vannak, melyeket egyenként kell letölteni, és kézzel kell összefűzni
  • minden adatfájlban benne van az instrumentum neve, ami növeli a letöltési időt és az elfogyasztott sávszélességet

Oanda

Általános információk

Az Oanda egyike a legrégebbi brókercégeknek, 1996-ban alapították. A FOREX kereskedés 2001 óta lehetséges. Manapság az Oanda egy amerikai szabályozású market maker bróker, jó hírnévvel. Később bevezették az MT4 platformot is.

Híresek még arról, hogy a kamatjaik nagyon versenyképesek és másodpercalapúak.

Mivel az Oanda egy market maker bróker, az adatainak kevesebb tick-je van, mint egy ECN bróker adatának - ez lehet előny és hátrány is, attól függ kinek mi. Az Oanda adatai attól különlegesek, hogy egészen 2004-től elérhetőek. Sajnos a visszamenőleges adatok csak a főbb devizapárokra vannak meg, letöltésük pedig olyan felhasználóknak engedélyezett, akiknek legalább 1000 dolláros Oanda hozzáférésük van.

Valószínűleg senkit sem izgat komolyabban, de az adatokban nincs Volume mező - ami teljesen elfogadható, lévén a bróker market maker.

Rendelkezésre álló instrumentumok

EURUSD GBPUSD USDCAD USDCHF USDJPY

Hozzájutás az adatokhoz

Mielőtt bárki rácuppan az adatokra, még egyszer: habár az adatok ingyenesek, legalább 1000 dolláros számlával kell rendelkeznetek az Oanda-nál ahhoz, hogy hozzéférhessetek.

A letöltés nem azonnali. El kell látogatnod a Oanda historical rates oldalra, ahol a Make an order -re kattintva megnyílik egy oldal, ahol megadható hogy milyen instrumentum, milyen időszakra vonatkozó adatát szeretnéd letölteni. Az XML-en kívül gyakorlatilag bármilyen adatformátum kiválasztható. Amikor készen vagy, nyomd meg a Place your order. Ezzel bekerülsz a sorba, és több óra vagy akár több nap múlva értesítenek e-mailben, hogy a kívánt adatod elkészült. A kívánt adatok legutóbbi időszaka két hónapnál nem lehet újabb. Amikor készen van a fájlok, letöltheted azt. Egyszerre csak egy kéréssel lehetsz listában!

Előnyök és hátrányok

ELŐNYÖK

  • akár 2004-es adatok is elérhetőek
  • könnyű a letöltés

Hátrányok

  • minimum 1000 dolláros számla szükséges a letöltéshez
  • csak az 5 fő devizapár érhető el
  • "sorbanállás", vagyis a letöltés nem azonnali
  • a tick adatok hozzáférésekor legjobb esetben is csak két hónappal ezelőtti dátumig lehet letölteni az adatokat.

MB Trading

Általános információk

Egy másik amerikai bróker, az MB Trading többek közt ECN alapú FOREX kereskedést szolgáltat ügyfeleinek. Desktop Pro nevű saját platformjukon kívül elérhető az MT4 alapú kereskedés is, de sok kompromisszummal. Például a 10 000 unitos lotméret, a speciális authentikációs kulcs, a lejárat hiánya a függő megbízásoknál, valamint a minden nap 17:00 órakor történi napi szerver újraindítás. Ezeket leszámítva a spreadek nagyon jók, és a jutalékok is korrektek.

A tick adatok könyv szerintiek Volume adat nélkül, és sok instrumentum - főbb és kevésbé főbb devizapárok - érhető el: majdnem annyi, mint a Dukascopy esetében. Az adatok teljesen ingyenesek, de ha nincs számlád az MB Trading-nél, akkor regisztrálnod kell egy demó számlát (mely természetesen ingyenes). A legkorábbi adat 2011 januárjából való.

Rendelkezésre álló instrumentumok

AUDCAD AUDCHF AUDJPY AUDNZD AUDUSD
CADCHF CADJPY CHFJPY EURAUD EURCAD
EURCHF EURGBP EURJPY EURNOK EURSEK
EURUSD GBPAUD GBPCAD GBPCHF GBPJPY
GBPUSD NZDCAD NZDJPY NZDUSD USDCAD
USDCHF USDDKK USDJPY USDNOK USDSEK

Hozzájutás az adatokhoz

Demó vagy éles számlával rendelkezés után be kell lépned ezen az oldalon. Ha elvesznél az oldalak között a regisztráció során, a sikeres bejelentkezés után a Tools menüpont Tick history linkjére kell kattintanod.

A letöltési oldalakon napi bontásban tudod letölteni az adatokat. Itt is érvényes az, hogy ha backteszt adatokat akarsz főzni a napi adatokból, kizárólag egymást követő napokat tölts le és fűzz össze.

Miután kiválasztottál minden napot, ami érdekel (sok kattintás) klikkelj a Download linkre és imádkozz, hogy működjön.

Ha minden jól megy, egy fájllal leszel gazdagabb amelynek Tick????.zip lesz a neve. Tömörítsd ki! Több zip fájlt találsz majd benne, minden napra egyet. Azokat is tömörítsd ki, és csináld lépésről lépésre ugyanazt az összefűzés kapcsán, mint amit a Pepperstone bekezdésben írtam. Ha ezzel készen vagy, már lehet is FXT fájlokat generálni az adatokból!

Előnyök és hátrányok

ELŐNYÖK

  • nagyon jó minőség
  • instrumentumok széles skálája

Hátrányok

  • az adatok csak 2011-től érhetőek el
  • az adatok napi bontásban vannak, tömörítve; ki kell őket csomagolni és egybe kell fűzni
  • az instrumentumnév minden adat részét képezi, feleslegesen
  • több hónap adatainak összefűzése elég idegőrlő munka

HistData.com

Általános információk

Kereskedők egy csoportja teszi elérhetővé az ingyenes adatokat saját költségén - nagyon szép kezdeményezés, úgy tűnik hátsó szándék nélkül.

Az instrumentumok rendelkezésre állása dátum szempontjából elég változatos, van olyan főbb keresztárfolyam, amely adata 2000-től is elérhető.

Az adatok forrásainak változatossága miatt előfordul, hogy az adatok egy része market maker brókertől, míg más részei ECN brókertől származnak. Nem ritka a különböző időzóna sem, így arra érdemes készülni hogy a CSV2FXT szkriptnél kézzel kell megadni a korrekt időzóna beállítását.

Remek plusz szolgáltatásként az archívumok tartalmaznak egy szöveges fájlt, mely tartalmazza az összes olyan gapet, amely nagyobb mint 60 másodperc.

Rendelkezésre álló instrumentumok

AUDCAD AUDCHF AUDJPY AUDNZD AUDUSD
AUXAUD BCOUSD CADCHF CADJPY CHFJPY
ETXEUR EURAUD EURCAD EURCHF EURCZK
EURDKK EURGBP EURHUF EURJPY EURNOK
EURNZD EURPLN EURSEK EURTRY EURUSD
FRXEUR GBPAUD GBPCAD GBPCHF GBPJPY
GBPNZD GBPUSD GRXEUR HKXHKD JPXJPY
NSXUSD NZDCAD NZDCHF NZDJPY NZDUSD
SGDJPY SPXUSD TWIUSD UDXUSD UKXGBP
USDCAD USDCHF USDCZK USDDKK USDHKD
USDHUF USDJPY USDMXN USDNOK USDPLN
USDSEK USDSGD USDTRY USDZAR XAGUSD
XAUAUD XAUCHF XAUEUR XAUGBP XAUUSD
ZARJPY

Hozzájutás az adatokhoz

Nyisd meg a HistData.com weboldalt és kezdj hozzá a letöltéshez! Mindenképpen a Generic ASCII tick data formátumot keresd. Akár még FTP -n is letölthetsz, ha úgy kényelmesebb.

A fájlokat ki kell tömörítened és összefűznöd - csináld lépésről lépésre ugyanazt az összefűzés kapcsán, mint amit a Pepperstone bekezdésben írtam.

Előnyök és hátrányok

ELŐNYÖK

  • sokféle instrumentum
  • gap információ
  • egyszerűen letölthető
  • nagyon jó tól-ig időintervallumok

Hátrányok

  • az adatforrás következetlen; 4 és 5 tizedesjegy, fix és változó spread, market maker és ECN adatok keverednek)
  • az időzóna adatok következetlenek (valószínűleg a téli-nyári időszámítás is)

Gain Capital, vagyis forex.com

Általános információk

A Gain Capital egy meglehetősen régi (1999-ben alapították) market maker bróker, amely elég rossz hírnévre tett szert. 2010-ben bírságot kaptak az NFA-tól egy-két rossz hozzáállás kapcsán, amelyet ügyfeleik felé tanusítottak.

Eltekintve gyanús kereskedési feltételeiktől, némi ingyenes adatot is biztosítanak. Sajnálatos módon az adatminőség elég gyatra, így nem is töltöttem vele sok időt. Sokszor komplett időszakok hiányoznak, illetve az adatok helye is nagyon sokszor helytelen (a múlt heti adat helyén az őt megelőző hét adata van). Az egyetlen jó dolog az adataik kapcsán az, hogy nagyon sokféle instrumentum áll rendelkezésre: kisebb és főbb devizapárok, nemesfémek, indexek és részvények.

Rendelkezésre álló instrumentumok

AUDCAD AUDCHF AUDJPY AUDNZD AUDUSD
AUXAUD* BCOUSD* CADCHF CADJPY CHFJPY
ETXEUR* EURAUD EURCAD EURCHF EURCZK
EURDKK EURGBP EURHUF EURJPY EURNOK
EURNZD EURPLN EURSEK EURTRY EURUSD
FRXEUR* GBPAUD GBPCAD GBPCHF GBPJPY
GBPNZD GBPUSD GRXEUR* HKXHKD* JPXJPY*
NSXUSD* NZDCAD NZDCHF NZDJPY NZDUSD
SGDJPY SPXUSD* UDXUSD* UKXGBP* USDCAD
USDCHF USDCZK USDDKK USDHKD USDHUF
USDJPY USDMXN USDNOK USDPLN USDSEK
USDSGD USDTRY USDZAR WTIUSD* XAGUSD
XAUAUD XAUCHF XAUEUR XAUGBP XAUUSD
ZARJPY

* részvény/index

Hozzájutás az adatokhoz

Amennyiben a nem túl hízelgő jellemzés ellenére mazochista vagy és szeretnék játszani az adataikkal, látogass el a Gain Capital Rate Data oldalra, és mentsd le az archívumokat - letöltésvezérlő használata javallott.

Mielőtt komolyabb tick adatok letöltésébe botlottam volna, ezzel az adatforrással dolgoztam így külön szkriptek állnak rendelkezésre, melyeket letölthetsz itt. A zip fájlban a következőket találod:

  • egy szkript, amivel az adatokat CSV formátumra tudod hozni. Alapvetően carloss munkájára épül az indo-investasi fórumból.
  • egy szkript, ami szortírozza és szűri a kapott CSV fájlt.

Mivel ez már egy régebbi történet, nem tudok több részletet mondani - neked kell ezzel foglalkoznod. Ha úgy ítéled meg, hogy megéri a kísérletezést, kezdj hozzá!

Előnyök és hátrányok

ELŐNYÖK

  • sokféle instrumentum

Hátrányok

  • nehézkes a letöltés
  • az adatok heti bontásban vannak, és manuálisan kell őket összefűzni
  • az adatminőség gyenge, sok a hiányzó adat
  • nincsenek naprakész eszközök az adatok feldolgozásához

Remélhetőleg a fenti felsorolásból mindenki ki tudja választani a számára leginkább szimpatikus adatforrást.

Amennyiben valaki olyan forrásba botlik, amelyet a fenti listában nem lát, mindenképpen dobjon egy e-mailt!

Kapcsolódó fórum

Címlap Fórumok Hasznos eszközök Jó minőségű backteszt adatok Kérdések a pontos adatokkal kapcsolatban

Ennek a fórumnak a tartalma: 26 témakör és 296 válasz, utolsó frissítés:  Radulovic Attila 2 hét, 3 nap.

15 témakör megtekintése : 1-15 / 26
15 témakör megtekintése : 1-15 / 26

Új témakörök létrehozásához jelentkezz be, vagy regisztrálj!

Oszd meg, ha hasznosnak találtad!

2 hozzászólás a(z) “Adatok letöltése - lehetséges források” bejegyzéshez

  1. Visszajelzés: Változások a pontosabb adatok kapcsán | Radu MetaTrader blogja

  2. Visszajelzés: Backteszteléssel kapcsolatos cikkek újrakiadása | Radu MetaTrader blogja