what's new :)

[kerosen]

.... functii de predictie pe baza de retele neuronale.

@mfx

 

pe vremea cand aveai timp, mi-ai dat tu un raspuns pe aici pe undeva dar nu ai spus nimik la vremea respectiva ca stii despre ce vorbesc (retele neuronale) in fine... adevarul este ca timpul ne omoara... si noi am scris ceva EA-uri (doar doua deocamdata)in functie de ANN-urile care le avem dar deocamdata pana nu testam ANN-urile nu putem inca sa bagam mana in foc pt ceea ce am facut pana acum... . nu am mai scris pana acum ca nu avem nicio noutate cu privire la evolutia site-ului si nimeni din cei care deobicei se ocupa cu site-uri nu a facut macar o propunere dar in privinta muncii noastre, evoluam. acum trebuie sa facem partea automatizata de antrenament a retelelor neuronale si bancul de proba . alta promisiune vis-a-vis de site am primit-o zilele trecute si sa vedem daca se concretizeaza pana la sfarsitul saptamanii.

 

marcotrader promit ca o sa fii printre primii care o sa ii anunt

[MarcoTrader2007]

@ Kerosen!

Nu ataseszi core-ul pe forum?banuiesc ca site-ul nu e gata.Sunt nerabdator sa vad cum arata si ce face. http://forum.vamist.ro/public/style_emoticons/default/shy.gif

[MarcoTrader2007]

Imi retrag cererea.Nu am citit postul.

[kerosen]

ok... de azi ne-am apucat sa formam baza de data. asta ce inseamna?! inseamna ca pe 16 perechi de valuta (le gasiti la: http://ratedata.gaincapital.com/ ) o sa introducem toata data la tick, adica la TICK Grin dupa care o sa incepem sa rulam cate un set de retele neuronale (sunt zece retele neuronale in set) pe fiecare pereche de valuta in parte. asa cum am mai scris si in subiectul "what it's all about ), data la tick reprezinta cea mai mica diviziune chiar daca nu e a timpului(pe timp ai M1 adica data la minut iar tick-ul reprezinta fiecare miscare in parte oricand s-ar intampla secunda, jumate de secunda-chiar daca nu e jumate de secunda ) iar un pattern recognition bun se face cu time series cu diviziuni cat mai mici si cu cea mai mica miscare.

 

ce probleme avem?! poi cea mai mare problema care o avem acum si sper sa se gaseasca vreun binevoitor pe aici sa ne ajute, este faptul ca: oracle-ul care il avem este original luat gratuit de pe site-ul oficial dar el este restrictionat gratuit fiind ca baza de date sa nu depaseasca mai mult de 5gb. ori noi am introdus azi data doar pt 2 luni si cele doua luni de zile cu data la tick reprezinta deja 2gb )))))))))))))))))))))))))))))))). orice ajutor ar fi bine venit.

 

in fine... deci cum se va desfasura testul... . asa cum am mai spus cei care ar spune maine valoarea va fi x sunt niste tampiti de ce? pt simplul fapt ca tick-ul reprezinta modificarea in timp si atunci defapt cel care ar dori sa faca o previziune(introducand ticuri-care tickurile intr-o zi adica 24 ore pe forex pot fi 5000 intr-o zi si in alta zi sa fie 9000 de tickuri) ar trebui sa spuna ca in jurul tick-ului xxxxx valoarea va fi y. daca vrei sa fai o aproximare in timp faci o medie a tickurilor pt o zi si poti spune aproximativ dar altfel cine spune ca peste o luna de zile va fi "y" e un dobitoc (mi s-a intamplat si mie )

 

deci, revenind... cum se va desfasura testul?!

 

poi simplu.

 

o retea are aprox 30000 si alta 10000 inputuri.... deci nu o sa putem incepe chiar de la inceputul anului ci doar de la +30000 tickuri ca o sa dam ultimile tickuri functie de retea dar ultimile inaitnea celui care il vrem previzionat.

 

sa luam reteaua cu 10000 de tick-uri:

 

dam cele 10000 tick-uri iar reteaua o sa ne intoarca o valoare sa spunem ca dam 10000 de inputuri(tick-uri) pe usd/eur iar reteaua ne va da un output(rezultat) y dupa ce ne da rezultatul, programul va cauta in baza de date cand s-a intamplat rezultatul y dupa ultimul tick bagat ca si input in retea iar noi o sa notam(programul defapt o sa noteze) la al catelea tick de la ultimul tick introdus in retea s-a intamplat(sau nu) sa se implineasca orice rezultat cuprins intre 400-lea tick si 10000-lea tick va fi unul pozitiv se va intampla(asa cum am patit la ceva teste facute pe genunchi la 7 saptamani) sa nu se intoarca iar tot ceea ce nu se intoarce sau depaseste perioada noastra de tick-uri, va fi considerat rezultat negativ. Smiley

 

ca sa raspund lui misa si altor "psihologi" ai pietei de capital.... insusi piata iti arata care ar fi starea ei dragutza iar inertia fiind relativ maricica, poti actiona in consecinta. asta inseamna ca chiar daca nu esti big shark cel care face regula, tot poti fi micul pestisor(am uitat jinx cum se numeste) cel care sta sub rechin si ii urmareste fiecare miscare la indigo Smiley))))).

cam atat ca ma dor dejtele

[kerosen]

am dat la cativa dintre voi un fisier cu ceva rezultate preliminare dar acum l-am aranjat mai bine ca sa se paota intelege ce este acolo mai usor(sper)

 

recapituland.....

 

ai niste retele neuronale si functie de felul retelei neuronale ai intre 10000 si 30000 de inputuri. inputurile in cazul nostru reprezinta tick-ul(defapt valoarea valutei respective la tick-ul respectiv) pt ca tick-ul este cea mai mica diviziune

 

dupa ce se introduc inputurile retelele neuronale ruleaza si dau un output o valoare care urmeaza sa o atinga valuta respectiva. tabelele care sunt prezentate in fisierul atasat, cuprind numarul tick-ului la care a fost atinsa valaorea prognozata de retelele neuronale. de ce reprezinta la al catelea tick a fost atinsa valoare? pt simplul motiv ca la aceasta data nu valoarea conteaza neaparat ci faptul daca a fost atinsa sau nu valaorea respectiva si daca da, cand anume, la al catelea tick de la ultimul introdus in retea ca si input si asta repet pt simplul motiv ca ai zile cand ai 3000 de tick-uri si zile cand ai 5000

 

aceste teste sunt preliminare adica au fost facute asa neorganizat cum or sa fie urmatoarele care vor fi mult mai elaborate adica spre exemplu testele care urmeaza a le face or sa cuprinda spre exemplu inclusiv la cati pipsi a intors valuta respectiva fata de valoarea prognozata (ex, ANN da prognoza 1.4645 dar maximul atins-intr-o perioada anume de tick-uri- a fost de 1.4625 deci o sa aven n-20pipsi trecut in tabel unde n-reprezinta faptul ca nu a fost atinsa prognoza retelei)

 

ce facem acum pana sa-i dam drumul la teste? poi acum incercam sa instalam oracle enterprise in loc de express edition care express edition are o limitare a bazelor de date de pana la maxim 4,5gb.

 

am hotarat ca atunci cand o sa fim gata pt testele pe tot anul 2007 pe 16 valute, sa incepem si testele pt perioada prezenta si sa jucam strict pe prognoza retelelor neuronale asta pt ca oricum testele vor dura probabil o saptamana 10 zile

 

cam atat

Copy_of_rezultatetesting.xls

[Stefan]

Acum inteleg si eu datele din fisierul ala pe care mi l-ai trimis acum ceva vreme .

Nu este (foarte) relevant rezultatul luat singular fara a se studia ce se intampla pana se atinge valoarea previzionata. Adica degeaba se atinge valoarea aia dupa un nr. x de ticksi (sau tickuri.. nu stiu cum se zice) daca pana atunci ramai fara bani in cont, nu?

[kerosen]

ei draga stefan aici intervin cateva lucruri cum ar fi calcularea volatilitatii in perioada respectiva si previzionarea ei (avand in vedere ca discutam de parioade relativ scurte) important in primul rand este sa stii incotro va merge trendul dupa care restul si cei care lucreaza cu EW si restul incearca sa previzioneze trendul(ma rog sa aprecieze incotro ar putea merge) acum lucram la o retea care sa cuprinda si volatilitatea dar aia e in viitor. pe langa cele prezentate mai avem un SOM (self organized map) kohonen si inca una asa ca avem ce lucra. deci cei care sunt jucatori sunt convins ca or sa gaseasca interesant acest studiu

[kerosen]

Mda… nimik sau aproape nimik nu merge precum iti propui(de duminica noapte trebuia sa intram in probe) dar asta nu ne darama. Am avut iar probleme cu oracle. Dca inaitne foloseam oracle express edition care ne limita baza de date la 4,5 gb, acum am instalat oracle enterprise si asta ne lasa 35gb sufficient de mare astfel incat sa putem rula in liniste. Pt cei care s-au uitat peste fisierul de teste preliminare, ati vazut spre exemplu ca nn3 a dat erori mari si asta ca avea un mic bug dar acum e rezolvat.

Ne-am hotarat sa facem aprox 270-280 teste pt fiecare valuta in parte, pe toata perioada anului 2007 si in parallel sa rulam pe un al doilea calculator forecast-ul la zi.

Pe 2007 avem 16 perechi de valuta pt care o sa rulam programul, pt 2008 avem 21 de valute (data la tick ne este data de www.forex.com ).

 

Interpretarea rezultatelor. Asa cum am aratat si in testele preliminare, atunci cand nu a fost atinsa valoarea forecastata de retelele neuronale, le-am notat cu “n” dar, acum, la aceste teste o sa mai adaugam cateva elemente in rezultatele finale si anume:

 

Noi ne-am propus sa avem o abatere de maxim 20 de pipsi de la rezultatul dat de retele, asa ca in rezultatele finale, acolo unde va aparea “n” va aparea si valoarea la care s-a oprit cursul real fara a atinge valoarea data de retea inclusive data(pe langa numarul tick-ului). Astfel o sa putem avea o mult mai buna imagine asupra rezultatelor.

 

Ceea ce ma sperie cel mai mult este timpul care va trebui pt desfasurarea acestui test marathon. O simpla socoteala ne arata ca ar fi vorba de luni de zile in conditiile in care ar rula nonstop neintrerupt iar asta ne omoara. Probabil ca o sa facem o ghidusie si anume o sa analizam rezultate partiale. Inca nu m-am gandit cum anume dar cred ca asa o sa facem. Spre exemplu daca ar fi sa rulam pe EURUSD, la 280 de teste avand in vedere ca ar lua aproximativ 20min pt un test, rezulta ca avem 280/3/24 ore adeca vreo 3 zile pt o valuta.

Adevarul este ca daca am fi avut mai multe calculatoare performante (quad core,4gbRAM) testele s-ar fi terminat mult mai repede. Sper sa gasim o solutie pt aceasta problema.

 

Revenind la felul in care vor arata rezultatele….

 

Va contine data si valoarea la care se afla valuta la data respective(cand a fost introdus ultimul tick ca si input)

Numarul tick-ului, data, si valoarea care a fost prognozata de retea si atinsa

Daca nu a fost atinsa valoarea tabelul va cuprinde litera “n” +valoarea la care s-a ajuns cel mai aproape de valoarea estimate de reteaua respective. Vor fi luate ca si rezultate positive chiar daca este “n” acele rezultate care sunt sub 20 pipsi fata de valoarea prognozata de ANN(reteaua neuronala).

 

astept CRITICI, sugestii si cometarii

[tavi_star]

Incercati PostgreSQL!

[kerosen]

multumesc de sugestie tavi, sincer apreciez dar oracle inca e mult mai sus iar la ora asta e oarecum rezolvata partea de database ia rnoi cand am inceput proiectul am avut in vedere cat de mare va fi (aprox) baza de date de aceea nu am ales mysql sau alte variante si am mers direct de la inceput pe oracle

 

inca odata multumesc

 

ma intereseaza si parerile voastre vis-a-vis de rezultatele preliminare