Artificial neural networks

[Criodi]

A lucrat cineva de pe aici cu asa ceva? Nu ma refer doar in sensul de a folosi un plug in mt4 pentru asa ceva ci in sensul de a le intelege si chiar proiecta propriile neural networks.

 

Sunt constient ca neural networks nu sunt vreo chestie magica care sa produce rezultate asa... out-of-the box, insa cred ca se pot gasi aplicatii utile pentru trading. Eu momentan incerc sa studiez language processing si sa incerc sa fac un neural net care sa poata interpreta stiri. E mult peste capacitatile mele curente dar fac progrese. Deocamdata imi trag informatia din twitter si incerc sa fac un fel de twitter index. Stiu ca nu-s tocmai originale ideile astea dar incerc sa le fac pe cont propriu pentru a le intelege mai bine. Daca fac ceva progrese am sa mai pun si pe aici.

 

Sunt curios insa daca s-a mai jucat cineva de pe aici cu asa ceva. Ce resurse utile ati gasit in aceasta directie? Stiti ceva blog-uri mai ascunse care discuta subiectul intr-un stil ceva mai practic?

[gigi]

Eu de 3 ani de zile downloadez (scraping) in timp real feed-ul StockTwits: http://stocktwits.com/home#all

{'text': u"Short when comes back into resistance. Watch how price reacts, if you see failure and it turns back down then it's good short opp. again $$", 'download_timestamp': 1340669835, 'user': 'gregnb', 'timestamp': 1340669823, 'type': 'clearfix message twitter', 'id': 8461278},
{'text': u'$arna skaken out.. Next two days will be fun', 'download_timestamp': 1340669847, 'user': 'AaronM', 'timestamp': 1340669844, 'type': 'clearfix default message', 'id': 8461279},
{'text': u'@MissmoT @hakujin  It`s  a 100% unwarranted because you`re Long? Too funny. $TSLA', 'download_timestamp': 1340669860, 'user': 'GregGrycan', 'timestamp': 1340669852, 'type': 'clearfix default message', 'id': 8461282},
{'text': u'RT @BullsOnParade $ARNA information hasn't changed only the share price, see you at 12+ after approval >>> strong and long!', 'download_timestamp': 1340669860, 'user': 'WolfpackInvest', 'timestamp': 1340669850, 'type': 'clearfix default message', 'id': 8461281},
{'text': u'RT @Winwin123 $ARNA I sold out. Double is better then nothing< i'm holding. at triple profit right now. going for the in the park home run.', 'download_timestamp': 1340669884, 'user': 'Brain_Storm', 'timestamp': 1340669877, 'type': 'clearfix default message', 'id': 8461283},
{'text': u'@teevee did u look at the shares outstanding and the float on this company, $SBSA', 'download_timestamp': 1340669897, 'user': 'nick159', 'timestamp': 1340669893, 'type': 'clearfix default message', 'id': 8461286},
{'text': u"An odd thing about today's craziness is bulls complaining about the stock going down. If you're convinced, buy more and thank me. $ARNA", 'download_timestamp': 1340669897, 'user': 'natesadeghi', 'timestamp': 1340669884, 'type': 'clearfix message twitter', 'id': 8461285},

In ideea de a face sentiment analysis pe el. Ce e frumos, e ca orice tweet public care contine un nume de instrument financiar cu $ in fata ajunge aici. Nu trebuie sa fii abonat de al lor. Si e deja filtrat, contine doar tweet-uri "financiare". In 3 ani s-au adunat 4 GB de date ca mai sus - 5 milioane de tweet-uri.

 

Tot din acest motiv la un moment dat am downloadat si toate posturile publice pana in 2011 de pe Forex Factory (20 GB).

 

Pt ca stiu ca sunt anumiti algoritmi in piata care "citesc" forumurile si de exemplu pariaza pe un increase in volatilitate in momentul in care un anumit asset este discutat mai mult decat de obicei. Market makerii pe optiuni folosesc asa ceva inca de prin 2000.

 

Dar concret nu am facut nimic in directia asta. Cum ai spus si tu, e quite complicated.

Editat Septembrie 8, 2013 de gigi

[Criodi]

Interesant. Eu sunt mai interesat insa nu de cantitate -> volatilitate ci de continut -> interpretare. Imi imaginez ca prima e mai usoara decat a doua, dar parca nu-i atat de sexy. N-as vrea un cod care sa urmareasca net-ul si apoi sa parieze pe volatilitate in functie de frecventa cu care se posteaza pe net ci un robot care sa citeasca niste articole si apoi sa traga singur concluzii de buy or sell. E cam utopic proiectul pentru capacitatile mele dar e un hobby distractiv. 

 

Nu m-am hotarat inca ce fac la anul, dar daca merg mai departe la master cred ca mi-ar place sa fac o disertatie in directia asta. Daca nu, poate ma folosesc de ideile astea pentru a impresiona pe la vreun interviu cine stie. Momentan ma joc cu http://www.amazon.co.uk/Natural-Language-Processing-Python-ebook/ si http://nltk.org/

 

O sa mai postez pe aici cand am ceva care sa mearga pe piata macar la un nivel basic. Momentan experimentez cu chestii gen identificarea subiectului, a actiunilor asupra lui si a atributelor si incerc sa o combin cu un fel de scoring sistem pentru fiecare cuvant care il obtin suprapunand textul cu graficul. Bine ca e mult de lucru aici pana la ceva serios dar cam asta e ideea de baza.

 

Am generat de exemplu scurte texte random (logice, nu cuvinte aiurea) care sa contina mai multe cuvinte negative pe bottom-uri si mai multe cuvinte pozitive pe top-uri. Programul a invatat apoi repede ca "increasing" sau "good" sunt pozitive iar "bad" e negativ si face preziceri pe baza asta. Asta insa e normal pentru ca asa l-am setat, iar stirile fiind artificiale si foarte asemanatoare intre ele sunt foarte usor de sortat. De aici si pana la interpreta stiri reale insa e cale luuunga.

Editat Septembrie 16, 2013 de Criodi

[Barbones]

Cred ca termenii dar mai ales sintaxa poate fi luata din minutele bancilor centrale. Acolo se uita cei cu cascavalul mare. Eu zic ca postarile pe net, daca ar fi sa le vizualizam grafic in raport cu o medie ar face un zig zag necontrolat sau oricum ceva fara substanta.

Postarile astea au o problema: Cine posteaza, Motivul, Relevanta, Sinceritatea etc.cred raportul relevantei bate catre hartii oficiale. Deci, mult mai putine date de disecat si mult mai relevante plus ca se poate face si backtesting pe zeci de ani.
Pe urma ar fi cross ul intre acele hartii. Asa ceva incerc eu acum doar ca nu pe cuvinte ci pe pret raportat la eveniment in corelare cu indecsi. Mai am ceva pana departe dar daca tot am timp macar sa nu spun ca n am incercat.

[gigi]

Acum cativa ani au fost niste articole despre un algoritm care face cam ce vrei tu. Algoritmul citeste stirile si face o predictie pt urmatoarele 20 de minute, timp in care piata digera noua informatie.

 

In caz ca nu l-ai vazut, the money quote:

 

The five verbs with highest negative impact on stock price are hereto, comparable, charge, summit and green. If the verb hereto were to appear in a financial article, AZFinText would discount the price by $0.0029. While this movement may not appear to be much, the continued usage of negative verbs is additive.

The five verbs with the highest positive impact on stock prices are planted, announcing, front, smaller and crude.

 

https://en.wikipedia.org/wiki/AZFinText

 

Paper-ul e linkat acolo.

 

[Proximus]

De ce sa te chinuiesti sa citesti stirile si sa faci un algoritm foarte complicat, care este un fel de AI deja si are avea foarte multe greseli fiindca asa ceva nu se construieste de 1 persoana, cand poti simplifica lucrurile.E mai usor sa construiesti ceva care se uita doar la calendarele economice si doar la cifre nu si la text.Imi amintesc ca un tip a facut un EA care avea feed direct din calendarul economic de pe forexfactory.com.A pus codul de conectare intrun .dll si apoi a facut un pachet de functii cu care puteai accesa informatiile din calendar cu EA-ul.Si oricum FF este foarte prompt cu reimprospatarea datelor deci cred ca se poate construi un EA fundamental foarte bun pe acest sistem.

Editat Septembrie 21, 2013 de Proximus

[Barbones]

Cifrele aiea sunt tare greu de interpretat daca nu sunt detaliate Din experienta mea, chiar din cele rosii doar cateva conteaza pentru o miscare cu tinta mai serioasa. Intrebarea e care e tinta si asigurarea, adica SL ul si TP ul. Daca vrei sa intri pentru fiecare in parte sansele sa le nimeresti sunt sub 50% iar daca vrei sa le combini intri intr-o nebuloasa care te obilga sa inveti economie cu adevarat. In final, afli ca ai nevoie economisti, de mai mult de un programator si tot asa, adica ajungi la ceea ce face un fond azi. Deci: resurse (materiale si umane).

 

Pare simplu la prima vedere, rosii verzi, previziuni si procente dar... . Eu zic sa incerci sa faci o schita la un model de trade pe ideea asta, doar o schita, cu puncte de plecare si atat. Ai sa vezi, ca vei avea cateva puncte majore de dezvoltat in detaliu iar fiecare detaliu are la randul lui mai multe detalii, daca desigur vrei sa faci ceva profi. Daca ramai in stadiul de Beta si c-am atat c-am tot atat o sa si faca modelul, ceva neconcludent.

Un asemenea model, pentru a fi profitabil trebuie sa combine cifrele conform unor situatii deja modelate, sa tina cont si de alt gen de stiri ce nu apar pe FF. 
Goldman are declarat asa ceva. Imagineaza-ti cat s-a investit si cati lucreaza la el si nu cred ca isi ia database ul de pe FF si sunt sigur ca nu e singura institutie care are modele de trade pe baze economice. De fapt, c-am astea fac banii.

Treaba grea, mon cher!

[Proximus]

Cifrele aiea sunt tare greu de interpretat daca nu sunt detaliate Din experienta mea, chiar din cele rosii doar cateva conteaza pentru o miscare cu tinta mai serioasa. Intrebarea e care e tinta si asigurarea, adica SL ul si TP ul. Daca vrei sa intri pentru fiecare in parte sansele sa le nimeresti sunt sub 50% iar daca vrei sa le combini intri intr-o nebuloasa care te obilga sa inveti economie cu adevarat. In final, afli ca ai nevoie economisti, de mai mult de un programator si tot asa, adica ajungi la ceea ce face un fond azi. Deci: resurse (materiale si umane).

 

Pare simplu la prima vedere, rosii verzi, previziuni si procente dar... . Eu zic sa incerci sa faci o schita la un model de trade pe ideea asta, doar o schita, cu puncte de plecare si atat. Ai sa vezi, ca vei avea cateva puncte majore de dezvoltat in detaliu iar fiecare detaliu are la randul lui mai multe detalii, daca desigur vrei sa faci ceva profi. Daca ramai in stadiul de Beta si c-am atat c-am tot atat o sa si faca modelul, ceva neconcludent.

Un asemenea model, pentru a fi profitabil trebuie sa combine cifrele conform unor situatii deja modelate, sa tina cont si de alt gen de stiri ce nu apar pe FF. 

Goldman are declarat asa ceva. Imagineaza-ti cat s-a investit si cati lucreaza la el si nu cred ca isi ia database ul de pe FF si sunt sigur ca nu e singura institutie care are modele de trade pe baze economice. De fapt, c-am astea fac banii.

Treaba grea, mon cher!

Am cunostiinte economice, daca vreti va pot ajuta

Iar apoi daca vreti un model fundamental e normal ca asta nu va fi bazat doar pe calendare.Ideea mea a fost pentru tradeul stirilor, pe TF mic.Analiza fundamentala profunda este doar pentru TF-uri mari unde piata se supune mai mult economiei decat a speculatorilor.

E mai multa munca aici cand vreti sa modelati intreaga economie a celor 2 tari respective.In primul rand veti avea nevoie de raportul COT(in cazult dolarului),raportul GDP si raportul CPI.Astea is cele mai importante si influenteaza cel mai mult pietele financiare.GDP-ul ne va arata cresterea economica si viteza ei,iar CPI-ul ne va arata crestera inflatiei si viteza cresterii.Putem sa proiectam chiar si un grafic daca avem datele necesare sa vedem miscarea acestor cifre economice.Dar depinde cat de detaliat vrem sa analizam economiile.Sunt tone de cifre si raporturi economice inafara de acestea dar zic ca pentru inceput aste is de ajuns.

Editat Septembrie 22, 2013 de Proximus

[Barbones]

Cateva variabile ce dau dureri de cap.

Cat pe medie "se duce" pretul in functie de :

- previziune - aparitie egala sau peste asteptari, aparitie egala sau sub asteptari, mult sub asteptari.

- raportul pozitiv sau negativ ex: (CPI - SUA vs CPI - UE in aceeasi luna)

- media in crestere sau in scadere a aceluiasi anunt si rata de crestere/scadere pentru ultimele X luni (aici luam sau nu in dezbatere teorii gen Koch, Gaus etc pentru predictie)

- este sau nu "inclus in pret" anuntul datorita mediilor saptamanale anuntate anterior

- este pozitiv sau negativ un anunt "verde" dar care poate genera prin "prea mult verde" supraincalzire"?

 

Lista e deschisa pentru cine doreste si pofteste.

 

Cu cat mai multe variabile incluse cu atat mai bine zic, dar nu stiu ce sa zic la "TF mic". Cred ca mai corect e sa vorbim de tinte mici in pips si timp, pentru ca pretul este identic pe toate TF urile, doar felul cum este comprimat difera.

 

Este un baiat care face asta de vreo cativa ani, o sa-l gasesc si o sa pun linkul aici. O face cat de cat bine, Are o rata de succes de 200 300 de pips pe luna si joaca manual. Deci, chiar atat de complicat nu pare a fi. 

[Criodi]

Proximus, pai tocmai artificial intellgence e subiectul care ma intereseaza. Trading la stiri in functie de cifra care iese pe un rezultat sau altul e usor de facut. Super usor. Pot chiar in momentul asta sa scriu ceva care sa faca asa ceva. Problema e ca n-am teava de net buna, n-am fonduri pentru un news feed serios, si n-am fonduri in cont ca sa ma bage in seama vreun ecn mai baban care sa nu-mi taie teava cand iese stirea. Interpretatul cifrelor e foarte simplu. Problemele sunt de natura tehnica.

 

Cu forexfactory cred ca glumesti. Vad stirile prin ransqwak or prin terminalul bloomberg cateodata si cu vreun minut inainte de a aparea pe forexfactory. Forexfactory e bun doar ca sa iti spuna cand sa stai pe bara daca nu esti pregatit de vreo stire ori alta. Ori pentru date istorice. Cam atat. Oricum asta am mai discutat si pe http://forum.vamist.ro/topic/4080-cum-tranzactioneaza-unii-atat-de-rapid-la-stiri-si-ce-optiuni-avem-noi

 

Ai dreptate cand zici ca asa ceva e greu de facut de unul singur. Pot face insa progrese destul de mari de unul singur si apoi daca am ceva tangibil ori ma duc cu produsul pe la vreo firma sau alta si ma angajez. Apoi cu sprijin instituional pot face treaba. Nu planuiesc oricum sa construiesc vreun Watson ci doar ceva care sa poata sa proceseze quantitativ diverse siruri de infromatii: economic data, news, prices, etc si apoi sa faca predictii de capul sau. O chestie de genul asta ar raspunde intocmai la intrebarile care le pune Barbones, acele "variabile care dau dureri de cap" cum spune el.

 

Momenant n-am decat franturi de cod, idei in cap, si multe link-uri, carti, filmulete bookmarked pe care mi-am propus sa le urmaresc. Neural networks, natural language processing, nu sunt chestii nici macar de nivel intermediar. Sunt complicate ale naibii. Nici nu sunt solutii magice care sa scoata profit garantat. E mult de lucru aici. Eu eram curios insa daca sunt membrii pe aici nu care se pricep la interpreta stiri ca la barbologie dinasta sunt bun si eu ci membrii care au folosit neural networks ori alte chestii quantitative pentru a interpreta stiri. Asta e un subiect in care mi-ar fi placut sa se implice membrii care poate se pricep, dar care au stat pe bara pana acum ca n-aveau unde sa posteze.