Web Scraping

[Cityzen]

Se pricepe cineva?

[gigi]

De 1 an jumate fac web-scraping la tot felul de date financiare de pe net.

 

De ex:

http://fxtrade.oanda...cal-open-orders (pozele)

http://www.dailyfx.c...ysis/sentiment/ (articolele + pozele)

http://stocktwits.com/streams/all (streamul public StockTwits)

http://www.myfxbook....mmunity/outlook

am downloadat tot forumul Forex Factory (toate posturile publice, doar text, fara poze)

si multe multe multe altele.

 

In total pana acum am 65 GB de date compresate.

 

Folosindu-le am construit de ex asta:

http://dl.dropbox.com/u/190212/vamist/retail_positioning.png

[dirzuandreiovidiu]

Si la ce concluzie ai ajuns, pana acum?

[gigi]

Intrebarea ta e mult prea generala, nu inteleg exact ce ma intrebi.

 

Dar incerc.

 

AT si AF nu functioneaza, cel putin asa cum sunt prezentate pe forum-uri si in carti in general. AF-ul se schimba tot timpul. Uneori bursa e invers corelata cu petrolul, alteori nu. Uneori o moneda se apreciaza cand dobanda ii creste, alteori nu. Daca te bazezi doar pe ce era valabil acum 10 ani (prima parte a ultimelor 2 propozitii) nu o sa faci nimic.

 

Alta concluzie e ca sunt capabil sa fac din Forex principala mea sursa de venit. Cu multa munca, evident.

[Cityzen]

@gigi

 

Pe mine nu pentru forex ma intereseaza. Datele pe care vreau sa le "culeg" sunt destul de bine organizate, aproape ca niste tabele.

 

De unde imi recomanzi sa incep? Imi poti recomanda ceva soft bun pentru "incepatori" ?

[gigi]

Sorry, nu sunt la curent cu softurile de web-scraping. Daca site-ul de unde vrei sa iei datele nu are si un API ce livreaza datele in format CSV/JSON, nu prea poti face web-scraping fara un pic de programare. Poate e mai simplu sa cumperi informatia de la un data vendor, de ex http://datamarket.com

 

Poti sa te uiti la tool-urile de aici: http://en.wikipedia....ki/Web_scraping in caz ca nu ai facut-o deja.

[Cityzen]

Multumesc pentru link. A, sa ma uit. Sunt la inceput de drum. Primul pas a fost google, al doilea a fost sa intreb pe forum. Intre timp am mai gasit si alte indicii pe alte forumuri.

 

Cred ca idea ar fi sa gasesc ceva care sa converteasca html in csv. Trebuie sa ma documentez sa vad daca se merita sa invat eu partea de programare, sau daca pot folosi programe gen http://www.outwit.com/ sau daca e mai convenabil sa colaborez cu cineva care se pricepe (contracost evident).

Editat Decembrie 18, 2011 de Cityzen

[Cityzen]

Am descoperit functia "data from web" la excel. S-ar putea sa fie mai mult decat suficient, pentru ca programul le actualizeaza automat si eu pot sa le prelucrez direct acolo cu formulele necesare fara alte batai de cap.