what's new :)

[kerosen]

azi instalam "bancul de proba" )))) adica pana la urma am strans 4 calculatoare hum.... as putea deschide o sala de jocuri ))) cel mai slab este un hyperthreading la 2,6ghz pentium de ce avem nevoie de cat mai multe? pt simplul motiv ca ne trebuie un server ca sa facem aceste teste.

 

sunt 280 de teste pe valuta x 16 perechi x 9 retele neuronale deci o sa avem peste 40000 de rezultate si nu doar 280 asa cum am prezentat in acel fisier excel. o simpla socoteala ne arata ca daca am fi rulat pe un singur calculator nonstop 24/7 ne-ar fi luat cam 60 de zile ))))))))))))))))))))))))))))))))))))) asa speram sa ne ia mai putin. ca sa nu asteptam toata perioada care dureaza testele, am impartit fisierele pt fiecare retea in parte si pt fiecare valuta in parte ca sa putem avea rezultate partiale.

 

cred ca la noapte nu prea o sa dormim )))

 

in paralel cu testele pe tot anul 2007, o sa incepem desfasurarea testelor pe 2008 prezent si probabil ca de joi o sa pot sa va postez aici prognozele pt aprox 21 de valute, atatea cate ofera forex.com

 

si inca o socoteala mica pt o valuta ai retele neuronale care le trebuiesc intre 10.000 si 30.000 de inputuri

 

deci pt tot anul daca iei o pereche de valuta si pui o medie de 15.000 de inputuri ori 9 retele neuronale ori 280 de teste egal....

 

37.800.000 de inputuri

 

iar daca socotim 40.000 de rezultate cu 90.000.000 de operatii pe rezultat....

 

asta e nebunie curata )))))))))))))))))))))))))))

[Mangusta]

Ce aplicatie folosesti ca cele 4 calculatoare sa lucreze ca un tot unitar?Stiu ca sunt programe folosite si de seti.org [mai erau unele cu teme despre matematica , atomi si molecule , ...].Aveau o aplicatie care o instalai pe calculator si ii spuneai cate resurse sa manance.Daca calculatorul era in idle putea sa lucreze la putere maxima si de exemplu cand lucrai pe el nici sa nu te deranjeze.Daca ai o aplicatie puternica ma alatur si eu cu un Athlon x2 64 4000+ care poate sa mearga pentru scopul tau pana la 24 de ore pe zi.

[kerosen]

@mangusta

 

thx man de oferta dar se pare ca am rezolvat-o pt moment doua dintre ele sunt AMD x2 64 4000+ cu 4gbRAM

momentan aplicatia va rula independent pe fiecare in parte repartizand functie de putere perechile de valute.

da, o sa lucreze in regim de server(unul sa imaprta munca la celelalte)

dupa cate stiu eu ceea ce spui tu cu alocarea resurselor se face la virtual machine. acolo poti face chestia cu alocarea de resurse. a fost o posibilitate dar am renuntat si la ea.

defapt o sa ne ia mai putin decat am crezut initial ca la 20 de min facea cate un rezultat pt 5 perechi de valuta si toate retelele neuronale. deci o sa dureze mai putin un pic.

aseara am terminat de descarcat toata data de la forex.com pe 2007. am facut scurta la mana )) intre 64 si 84 de zip-uri pt fiecare luna )).

pe luna octombrie la GBP_CHF week2 lipseste cu desavarsire.

pe decembrie, in loc de EUR_AUD_week3 aparea EUE_AUD ))))))))))))))))))))))))))))))).

 

API-ul i-am dat drumu si e o splendoare sa-l privesti cum ruleaza

 

deci ce avem acum?

 

avem un API, avem o baza de date(oracle), un set de retele neuronale si 4 calculatoare.

 

aaaaaaaa problema mare la conexiunea de internet si trebuei sa gandim pe viitor ce o sa facem adica daca pica, api-ul nu inregistreaza corect data si riscam sa o luam in gura astept sugestii pt romania ca afara sigur nu prea exista probleme de genul asta ma refer ca noi vrem de aici inaitne sa inregistram si sa facem warehousing data pt valutele respective astfel incat sa depindem cat mai putin de restul

 

deci acum api-ul inregistreaza continuu de aseara si deci probabil ca atunci cand va atinge limita necesara(max 30000 de inputuri pe fiacere valuta, o sa putem rula setul de retele neuronale) si sa dam o priam previziune live ))))))

 

 

pt testul pe 2007 azi pregatim totul si de diseara cred ca o sa incepem.

 

cam cum o sa arate si ce o sa prinda tabelele cu rezultate?

 

poi am spus asa:

 

scenariu: un ANN cu 10000 de inputuri

 

pt fiecare retea in parte o sa avem o coloana in care o sa fie trecuta valoarea valutei de la tick-ul 10000(adica ultimul ticck bagat ca si input) data la care s-a intamplat acea valoare valoarea care reteaua o sa o prognozeze, tick-ul la care s-a intamplat acea previziune, data la care s-a intamplat tick-ul respectiv si dupa caz acolo unde apare "N"(adica nul=nu a atins valoarea prognozata de ANN) tot ceea ce inseamna "N" - 10pipsi o sa fie luat ca si rezultat pozitiv, tot ceea ce e peste -10pipsi considerat rezultat clar negativ. acum fiecare dintre voi stie cat poate sa joace sunt unii care si -20 pipsi gasesc un rezultat bun(adica au castigat mult dar cu 20 pipsi mai putin decat si-au propus).

 

oricum am sa va tin la curent cu tot. daca va uitati pe testele preliminare , fisierul care l-am pus pe acest subiect) neluand in considerare nn3 care avea o problema(rezolvata la ora asta) o sa vedeti ca din arpox 280 rezultate, acuratetea(adica nimerirea prognozei(fara acel "N" -10 pipsi e incurajatoare.

 

la acest test maraton nu ma astept sa se intample precum la cel preliminar din mai multe motive.

 

unul nu am garantia ca data care am luat-o e toata curata. anul trrecut a fost subprime-ul care a afectat zdruncinat piata de capital. fiind peste 40000 de teste ne asteptam clar ca procentajul de la testul preliminar sa fie serios afectat, adica daca la preliminar am avut cam 90% acuratete, pe 280 de rezultate, la peste 40000 de rezultate.... va scadea drastic ))))))))

 

daca ar fi sa trecem bine testele de prognozare, ar mai fi multi pasi clusteringul data mining agentii inteligenti fundamentalele etc

 

dap!!! s-a intamplat pe la 13:14 ora ramaniei cand pt 2-4 minute mi-a picat coenxiunea la internet si deci API-ul nu a inregistrat acea data . mai am o conexiune de cliknet pe langa cea de la upc care pana acum nu am folosit-o asa ca ma vad nevoit sa o pun si pe aceea in paralel sa vedem daca ne ajuta

[kerosen]

ehhhh greu este drumul cand simti ca te apropii dar parca luminita se indeparteaza pe masura ce te apropii ))))))))))))))) tare senzatie ok

 

deci am descarcat toata baza de la forex.com pe 2007

 

 

problemele care au aparut: pe octombrie lipseste o saptamana de la o valuta

 

fisierele csv sunt scrise in doua formate diferite. am descarcat apeox 375mb arhiva, dezarhivate sunt vreo 3,7gb am avut o medie de vreo70 de arhive pe luna ori 12.... ))) am facut scurta la mana la incarcat in baza de date pt ca pt systemul de testing nu am facut o automatizare care pur si simplu sa incarce tot ce ii dai din dorinta de a termina mai repede ))))

 

cred ca baza in oracle e dubla adeca vreo 7gb acum

 

deci probleme la baza de date:

 

cadjpy week4 martie

eurcad week4 martie

cadjpy week3 aprilie

gbpjpy week4 aprilie

*.* week1 mai

*.* week4 iunie

gbpchf week2 octombrie lipsa

 

luna decembrie toata nu am introdus-o ca e varza ca si format (ne ia prea mult timp sa rescriem si consideram ca atat e suficient)

 

azi speram sa ii dam drumu la teste in sfarsit cu ce avem partea buna este ca o sa dureze relativ putin fata de ce credeam noi

 

partea cea mai buna este urmatoarea idee care mi-a venit in acest timp si de care o sa am nevoie si de ajutorul vostru

cei care vreti sa va dati cu parerea

 

deci... API-ul functioneaza si singura problema o avem la conexiunea cu internetul pt ca traind inromania nu este garantata si nu avem bani pt garantare (linie dedicata) cel putin la aceasta faza

 

ce vom face si sigur suna interesant si pt voi. pt cele 21 de perechi de valute

 

din aprox 5000 in 5000 de tick-uri o sa fim in stare cu api-ul sa dam prognoze noi pe prezent care vor fi scrise intr-un fisier si postate probabil aici daca stef va face acea rubrica speciala iar voi pe paper money aveti ocazia sa verificati (si noi avem nevoie de parerea voastra)

 

deci cam cum se intampla: API-ul inregistreaza in baza de date, in momentul in care a atins maximul de care avem nevoie pt cea mai mare retea neuronala(30.000 tick-uri) cu un thread initiem modulul ANN care va face prima forecastare iar dupa aceea la un interval de 5000 de tick-uri va merge in regim automat. cu alte cuvinte pe fiecare valuta care va atinge 5000 de tick-uri vom face o forecastare. pt valutele care se joaca mai putin o sa gasim un numar mai mic optim pt forecastare(spre exemplu la gbp/jpy probabil ca la 8 ore ai 5000 de tick-uri pe cand la nzd/cad dureaza poate 3 zile asa ca pt nzd/cad o sa micsoram numarul de tick-uri pt care facem initializarea modulului ann).

 

cam atat deocamdata. din punct de vedere al retelelor nu ne facem probleme. pt testul 2007 SOM-ul(self organized map) nu e functional dar pt cel real 2008 functioneaza

[Stefan]

Sectiunea s-a facut. Pentru acces, ii cereti lui Kerrosen parola.

[kerosen]

hehehe se pare ca acum (deocamdata ) nu mai da rateuri e o placere sa-l vezi la lucru

 

pe scurt ce-am facut.

 

dupa ce ne-a dat o groaza de erori si marti spre miecuri saptamana asta aproape ca-mi pierise cheful a inceput sa lucreze fara rateuri deocamdata.

 

oracle ne-a spus ca e out of memory:) am rugat o cunostinta(nici nu o cunosc personal) sa intre si sa ni-l aranjeze(oracle-ul) si dupa vreo ora jumate de butonat pe vnc se pare ca acum nu mai are probleme.

 

la randul nostru am facut si noi o compromis care o sa ne afecteze la timpul de teste. inloc sa mai rulam cu toate cele 8 retele deodata care si ele mananca suficiente resurse, rulam cate o retea pe toate perechile de valuta.

este 3:13 AM si inca nu s-a oprit(de la ultima oprire) si deja unele valute le-am terminat(gen NZD/USD) iar altele deabea sunt pe la luna iulie. cred ca undeva in jur de 7:00 o sa termine prima retea .

 

la prima vedere ca si rezultate(acuratete) nu stam rau deloc spre, cred, ca o sa avem peste 70% repet asa ochiometric si nu calculat

 

aveti atatast si un printscreen cu sistemul in lucru unde in partea de jos puteti observa ceva rezultate sau cam cum scrie automat in baza de date

 

am postat aici si nu la neuronala pt ca deocamdata aici vreau sa va tin la curent. la neuronala o sa avem forecasturi zilnice odata ce urcam API-ul sus pe un server bun sa nu mai avem data alterata.

 

asa ca pregatitiva paper money strategiile si pt cei care sunt interesati sa joace pe forecastul nostru din prezent.... saptamana ce vien de luni crdem ca o sa fie foarte posibil

Editat Martie 6, 2008 de kerosen

[victor007]

Felicitari pt munca depusa! Stiu ca anu a fost usor (am facut candva si eu un pic de programare da...odata..demult )

Astept cu interes tranzactiile live sa vedem "traducerile" din tabelele alea

 

Succes!

[kerosen]

deci winxp recunoaste doar 3,5gb(parca) cel care are grija de oracle(ma rog, ne ajuta acum la inceput) ne-=a spus ca pt ce vrem noi sa facem ca sa nu mai apara"out of emory" avem nevoie de vreo 8gb cel putin ) asa ca winxp server sau winxp64 ar fi cel mai potrivit. deci trestele pe 2007 or sa dureze un pic mai mult decat ne asteptam.

vestea buna e ca inca rumega pe 2007 fara intreruperi si acum lucram la aplicatia pt PREZENT adica deja cautam un webhosting cat mai bun unde s aurcam api-ul si de acolo o sa transferam direct in baza noastra de date fisierele create de catre aplicatie. asta new va da siguranta ca o sa avem data cat mai curata. credem ca cel tarziu luni-marti o sa fim in stare sa icnepem forecastari pe prezent in paralel cu derularea testului pe 2007

[kerosen]

ok dragilor.... ar fi fost culmea sa putem face noi totul )) asa ca aici, acum, va cer ajutorul in doua directii care la ora actuala ne depaseste

 

una e legata de oracle si anume:

 

AVEM NEVOIE DE UN DBA

 

 

cealalta:

 

 

AVEM NEVOIE DE UN ASP-ist

 

de ce? pt ca vrand sa urcam sus pe un server API-ul care e in java, hostingul e scump(si nu vrem sa incercam cu orice webhosting) aprox 20-30$/luna, pe cand cel care ofera ASP ar incepe de la niste preturi foarte decente aprox 9-15$/luna.

 

DBA-ul ne trebuie sa se ingrijeasca de oracle cu drepturi de administrare.

 

any one?

Editat Martie 9, 2008 de kerosen

[kerosen]

deci.... multa lumea m-a intrebat ce se mai aude cu al nostru proiect, de ce nu mai postez.

ideea este ca am avut impresia (desi inca neconfirmata) ca partea de testare nu este bien pusa la punct si pe langa asta nici partea de antrenament. o retea neuronala in general se dezvolta relativ usor dar, algoritmul poate degenera usor si in realitate reteaua sa dea rezultate proaste. deci, repet, nu ca nu ar fi o metoda buna ci pur si simplu daca nu esti atent la fiecare detaliu risti sa faci un creer debil )))))))))))))))))))))))))).

 

acum am cerut parerea unor specialisti despre munca noastra depusa pana acum si vrem sa avem o reconfirmare ca am facut bien iar daca nu, sa ne indice greselile astfel incat sa avem certitudinea ca cel putin din punct matematic si stiintific, retele se comporta normal.

 

altfel suntem ok si ii dam inainte. oricum mai sunt mutle alte lucruri de facut inca nu ne plictisim

 

toate cele bune