Sari la conținut

Web Scraping


Cityzen

Postări Recomandate

De 1 an jumate fac web-scraping la tot felul de date financiare de pe net.

 

De ex:

http://fxtrade.oanda...cal-open-orders (pozele)

http://www.dailyfx.c...ysis/sentiment/ (articolele + pozele)

http://stocktwits.com/streams/all (streamul public StockTwits)

http://www.myfxbook....mmunity/outlook

am downloadat tot forumul Forex Factory (toate posturile publice, doar text, fara poze)

si multe multe multe altele.

 

In total pana acum am 65 GB de date compresate.

 

Folosindu-le am construit de ex asta:

http://dl.dropbox.com/u/190212/vamist/retail_positioning.png

Link spre comentariu
Distribuie pe alte site-uri

Intrebarea ta e mult prea generala, nu inteleg exact ce ma intrebi.

 

Dar incerc.

 

AT si AF nu functioneaza, cel putin asa cum sunt prezentate pe forum-uri si in carti in general. AF-ul se schimba tot timpul. Uneori bursa e invers corelata cu petrolul, alteori nu. Uneori o moneda se apreciaza cand dobanda ii creste, alteori nu. Daca te bazezi doar pe ce era valabil acum 10 ani (prima parte a ultimelor 2 propozitii) nu o sa faci nimic.

 

Alta concluzie e ca sunt capabil sa fac din Forex principala mea sursa de venit. Cu multa munca, evident.

Link spre comentariu
Distribuie pe alte site-uri

Sorry, nu sunt la curent cu softurile de web-scraping. Daca site-ul de unde vrei sa iei datele nu are si un API ce livreaza datele in format CSV/JSON, nu prea poti face web-scraping fara un pic de programare. Poate e mai simplu sa cumperi informatia de la un data vendor, de ex http://datamarket.com

 

Poti sa te uiti la tool-urile de aici: http://en.wikipedia....ki/Web_scraping in caz ca nu ai facut-o deja.

Link spre comentariu
Distribuie pe alte site-uri

Multumesc pentru link. A, sa ma uit. Sunt la inceput de drum. Primul pas a fost google, al doilea a fost sa intreb pe forum. Intre timp am mai gasit si alte indicii pe alte forumuri.

 

Cred ca idea ar fi sa gasesc ceva care sa converteasca html in csv. Trebuie sa ma documentez sa vad daca se merita sa invat eu partea de programare, sau daca pot folosi programe gen http://www.outwit.com/ sau daca e mai convenabil sa colaborez cu cineva care se pricepe (contracost evident).

Editat de Cityzen
Link spre comentariu
Distribuie pe alte site-uri

Alătură-te conversației

Poți posta acum și să te înregistrezi mai târziu. Dacă ai un cont, autentifică-te acum pentru a posta cu contul tău.

Vizitator
Răspunde la acest subiect...

×   Alipit ca text avansat.   Alipește ca text simplu

  Doar 75 emoji sunt permise.

×   Linkul tău a fost încorporat automat.   Afișează ca link în schimb

×   Conținutul tău precedent a fost resetat.   Curăță editor

×   Nu poți lipi imagini direct. Încarcă sau inserează imagini din URL.

  • Navigare recentă   0 membri

    • Nici un utilizator înregistrat nu vede această pagină.
×
×
  • Creează nouă...

Informații Importante

Am plasat cookie-uri pe dispozitivul tău pentru a îmbunătății navigarea pe acest site. Poți modifica setările cookie, altfel considerăm că ești de acord să continui.