Cat timp trebuie testata o strategie?

[Mihai007]

Cat timp trebuie testata o strategie pana iti dai seama ca functioneaza?

Am atasat si un statement, si nu vreau sa ma laud cu el pentru ca oricum e pe demo si doar o saptamana de tranzactionare.

DetailedStatement2.htm

[Criodi]

Numarul de tranzactii necesare depinde de standard deviation-ul strategiei noastre, de intervalul de incredere care ne intereseaza, si de canalul de variabilitate pentru care vrem sa stabilim acest interval de incredere. Pentru \(n\), numar de tranzactii necesare avem formula:

 

\[n = \left(\frac{2 \cdot s \cdot \alpha}{\Delta}\right)^{2}\]

 

unde \(s\) este sample standard deviation masurat (pe tranzactiile facute deja), \(\alpha\) descrie intervalul de incredere (pentru 95%, \(\alpha = 1.96\)), iar \(\Delta\) reprezinta marimea acelui canal de variabilitate de care vorbeam.

 

Daca de exemplu am o strategie care scoate 1% per trade, si ma interesaza sa stabilesc daca rezultatele sunt intradevar relevante (adica diferite simnificativ de 0), as putea stabili un canal de \(1\% \pm 0.5\%\) sau altfel spus \([0.5\%,1.5\%]\). In acest caz \(\Delta = 1.5\% - 0.5\% = 1\%\). Daca am calculat \(s=3\%\) atunci numarul de tranzactii necesare este 

 

\[n = \left(\frac{2 \cdot s \cdot \alpha}{\Delta}\right)^{2} = \left(\frac{2 \cdot 0.03 \cdot 1.96}{0.01} \right)^{2} \approx 138 \]

 

Ne trebuie deci 138 de tranzactii pentru a verifica strategia (formal vorbind, nu facem decat sa stabilim acest interval de incredere)

 

In cazul unei strategii pe termen lung, numarul de tranzactii deja facute e probabil sa fie foarte mic si atunci nu voi putea masura un sample standard deviation relevant. In acest caz pot extrapola acel \(s\) din formula pentru sharpe ratio. Sa zicem ca am o strategie care ma astept sa scoata 5% pe luna. Daca imi stabilesc (\\Delta = 8\%\), adica lungimea canalului \([1\%,9\%]\) si ma intereseaza un sharpe ratio anual, \(S=3\) atunci standard deviation-ul lunar extrapolat din sharpe va fi egal cu 5.54%.

 

Numarul se obtine in felul urmator:

 

\[s = \frac{E(r_{lunar})}{s_{lunar}/\sqrt{12}}\]

\[3 = \frac{0.05}{s_{lunar}/\sqrt{12}}\]

\[s_{lunar} = \frac{0.05}{3} \cdot \sqrt{12} = 0.016 \cdot \sqrt{12} = 5.54\%\]

 

Cifra 12 apare pentru ca vorbim de 12 luni. Inarmati cu \(s_{lunar} = 5.54\%\), \(\alpha = 1.96\), \(\Delta = 8\%\) putem calcula cate luni de tranzactionare ne trebuie:

 

\[n = \left(\frac{2 \cdot s \cdot \alpha}{\Delta}\right)^{2} = \left(\frac{2 \cdot 0.05 \cdot 1.96}{0.0554} \right)^{2} \approx 13 \]

 

Ne trebuie deci 13 luni de tranzactionare pentru a verifica strategia. Raspunsul este adaptat dupa raspunsul oferit unei intrebari similare pe http://quant.stackexchange.com/questions/1891/how-much-data-is-needed-to-validate-a-short-horizon-trading-strategy A se vedea si topicul Cum dezvoltam si evaluam statistic o strategie de trding? pentru un tratament mai complet.

 

Later edit: Cateva clarificari

 

Numarul 138 l-am obtinut pentru ca am folosit niste cifre nerealiste. In practica s-ar putea sa aveti un standard deviation de 6-12 ori mai mare decat expected returns (profitul mediu per trade). La astfel de cifre veti avea nevoie de 500-1500 de tranzactii. E important apoi de notat si ca acel standard deviation pentru care rulati aceste cifre trebuie sa fie calculat pe un sample reprezentativ. Daca de exemplu ati rulat 30 de tranzactii castigatoare la rand si apoi faceti calculul de mai sus o sa obtineti niste rezultate extraordinar de optimiste. Trebuie insa sa va intrebati daca aceste 30 de tranzactii sunt reprezentative pentru strategia care o rulati. Apoi, daca in timp standard deviation-ul creste, sau daca expected returns scade, calculele trebuiesc refacute, pana cand ajungeti la un punct satisfacator.

Editat August 14, 2013 de Criodi

[Apollo]

Alt scalper . Testeaza cateva luni 6-12 luni.

[AdrianBc]

Cat timp trebuie testata o strategie pana iti dai seama ca functioneaza?

Am atasat si un statement, si nu vreau sa ma laud cu el pentru ca oricum e pe demo si doar o saptamana de tranzactionare.

 

din punctul meu de vedere raportul arata bine.Vad ca nu folosesti SL-uri dar nici tranzactii pierzatoare mai mari decat cele castigatoare nu ai.Acum depinde pe ce tf tranzactionezi.Saptamana asta nu a fost in range .Incearca strategia si pe o piata cu probleme si vezi rezultatul.Sau cel mai bine foloseste un simulator,si asa testezi intr-o zi cat pentru cateva luni.

[Mihai007]

Unde gasesc acel simulator?

[nirolf_trader]

Banuiesc ca nicaieri.Cred ca Adrian iti sugera sa pui strategia intr-un robot si pe acesta il testezi atat pe istoric(pe cat timp vrei tu) cat si live...

[Apollo]

Deja i-a dat simulatorul.

[Deltatrade]

orice profit factor peste 2 este suspect.daca vezi profit factor mai mare ca 3 la un moment dat sigur o sa pice.  conform celor 30 de conturi pe care le-am vazut pana acum daca ar fi continuat sa tranzactioneze ar fi dat de o gaura mare. se pare ca asta este un traseu clasic pentru majoritatea . super mega succes pe cateva luni urmat de o cadere la fel de  mare. ultimul exemplu pe care l-am vazut aici http://www.myfxbook.com/members/rica/ytfx-55/614669. mircea55.

[Deltatrade]

legat de intrebarea initiala. o strategie o testezi pana cand nu mai poti. minim 5000 de tranzactii si o testezi pe orice. puteti folosi forextester1.0 sau metatrader asa :

[Deltatrade]

interesant. deci dupa ce definim nspe mii de parametrii ca sa ne dam destepti in matematica acum venim si cu raspunsul ....138!

deci omul asta a facut 48 de tranzactii saptamana asta mai face si saptamanile viitoare inca 100 si gata e bun de real eh? mama da ce spirit practic.bravo! dupa asemenea raspuns nu e de mirare ca toti quantii sunt de pomana dar am si o mare curiozitate. oare or sti sa se lege la sireturi?

[Criodi]

Acel \(n\) reprezinta numarul de tranzactii necesare pentru a putea stabili un interval de incredere de 95% de lungime \(\Delta\). Daca strategia noastra are acest numar de tranzactii facut si se incadreaza in acel interval, singura concluzie care o putem trage e ca e putin probabil ca rezultatele obtinute sa fi fost obtinute la noroc. 

 

Formal vorbind, cand tragem o astfel de concluzie la un interval de 95%, ceea ce spunem defapt e ca daca strategia noastra ar fi fost una random, am fi obtinut rezultatele care le-am obtinut in mai putin de 5% din cazuri. Poti sa calculezi daca vrei la 99% si atunci schimbi 5% cu 1%. Un astfel de calcul nu garnateaza insa 100% ca rezultatele nu au fost obtinute la noroc (nu exista 100%. daca am avea certitudini n-ar mai fi nevoie de statistica) si nici nu garanteaza ca strategia va merge pe real. Tot ce iti spune e ca e putin probabil ca rezultatele obtinute pana acum sa fi fost pur si simplu la noroc.

 

Nu e acel raspuns de DA sau NU care l-ar place sa auda unii dar cu siguranta e mai bun decat un raspuns calculat ochiometric sau pe baza de feeling, tarot, planete, horoscop etc. Raspunsul este cel putin obiectiv si aplicabil oricarei strategii fara niciun fel de prejudiciu.

 

PS: Am obtinut acel 138 pentru ca am folosit niste cifre nerealiste - scopul era sa demonstrez formula. In practica standard deviation-ul poate fi si de vreo 6-12 ori mai mare decat expected returns. La un astfel de raport numarul necesar de tranzactii ar fi intre 500 si 1500. Apoi daca schimbam 1.96 pe o cifra mai mare, gen 2.575, cifra pentru un interval de incredere de 99%, cifra creste.

Editat August 13, 2013 de Criodi