Tuesday 12 September 2017

Dati Snooping Pregiudizi Investopedia Forex


Data Mining Qual è l'estrazione dei dati di data mining è un processo utilizzato dalle aziende per trasformare i dati grezzi in informazioni utili. Utilizzando il software per cercare i modelli in grandi lotti di dati, le aziende possono imparare di più sui loro clienti e sviluppare strategie di marketing più efficaci, nonché aumentare le vendite ei costi diminuiscono. Il data mining dipende efficace la raccolta di dati e stoccaggio, nonché di elaborazione del computer. Abbattere i negozi di data mining di alimentari sono gli utenti ben noti di tecniche di data mining. Molti supermercati offrono carte fedeltà gratuito per i clienti che danno loro l'accesso a prezzi ridotti non sono disponibili per i non soci. Le carte rendono facile per i negozi di tenere traccia che sta comprando quello che, quando vengono comprando ea che prezzo. I negozi possono quindi utilizzare questi dati, dopo aver analizzato che, per molteplici scopi, come offrendo ai clienti coupon mirati alle loro abitudini di acquisto e di decidere quando mettere oggetti in vendita o quando venderli a prezzo pieno. Il data mining può essere un motivo di preoccupazione quando soltanto determinate informazioni, che non è rappresentativo del gruppo complessiva del campione, è usato per dimostrare una certa ipotesi. Data Warehousing Quando le aziende centralizzano i loro dati in un database o di un programma, si parla di data warehousing. Con un data warehouse, un'organizzazione può spin off segmenti dei dati per gli utenti specifici per analizzare e utilizzare. Tuttavia, in altri casi, gli analisti possono iniziare con il tipo di dati che vogliono e creare un data warehouse sulla base di tali specifiche. Indipendentemente da come le aziende e altre entità organizzare i propri dati, lo usano per supportare i processi decisionali di gestione. programmi di estrazione Data Mining Software dati analizzano le relazioni e modelli di dati in base a ciò che chiedono gli utenti. Per esempio, software data mining può essere usato per creare classi di informazioni. Per illustrare, immaginare un ristorante vuole utilizzare il data mining per determinare quando si dovrebbe offrire alcune offerte speciali. Si esamina le informazioni che ha raccolto e crea classi basate su quando i clienti visitano e ciò che ordine. In altri casi, data miner trovano grappoli di informazioni sulla base di relazioni logiche, o si guardano le associazioni ed i modelli sequenziali per trarre conclusioni circa le tendenze nel comportamento dei consumatori. Data Mining Processo Il processo di data mining si articola in cinque fasi. In primo luogo, le organizzazioni raccolgono i dati e caricare nei loro data warehouse. Successivamente, essi archiviare e gestire i dati, sia su server in-house o cloud. Gli analisti di business, team di gestione e professionisti della tecnologia informazioni di accesso ai dati e determinare come vogliono organizzarlo. Poi, il software applicativo ordina i dati sulla base dei risultati degli utenti, e, infine, l'utente finale presenta i dati in un formato facile da quota, come ad esempio un grafico o table. FXEZs Quantitative Research In R Registrato Feb 2006 Status: operatore esperto 19 anni 299 Messaggi ottimizzazione dei parametri di negoziazione e backtesting R è grande a causa di tutti i pacchetti disponibili per esso (molti pacchetti legati negoziazione), e la sua vettorializzare quindi è molto veloce. Segue un esempio di un semplice sistema di scambio, ma il codice può essere facilmente adattato per qualsiasi sistema. Se avete qualche idea per testare, postare qui e possiamo facilmente adattare questo codice per testare. Se qualcuno è abile in fase di test più tempi in R, si prega di postare qui o contattatemi. Ho alcune domande per voi. -) Questo codice di esempio per ottimizzare una lunghezza EMA. Ho calcolato EMA di H e L di una coppia, e se se: bassa di un bar GT ema H, segnale di acquisto se alta lt ema L, segnale di vendita altrimenti il ​​segnale 0 L'uscita viene quindi scritto in un file. Anche i rendimenti sono tracciati rispetto alla lunghezza EMA: immagine allegata (clicca per ingrandire) Codice per la produzione di questo: Ora, una volta che abbiamo i risultati dei test di rendimento vs EMA, possiamo selezionare uno dei migliori per testare in dettaglio (diciamo 47 ). Il codice seguente mostra 33 di ritorno, con una tabella di prelievo: Da Trough alla profondità lunghezza Attraverso Recupero 1 2014-02-14 2014-02-27 2014-03-13 -0,0227 937 439 498 2 2013-08-07 2013-08 -12 2013-08-27 -0,0164 666 162 504 3 2013-09-11 2013-09-30 2013-10-04 -0,0161 822 632 190 4 2014-03-14 2014-03-28 2014-04-02 - 0,0151 602 466 136 5 2014-01-03 2014-01-10 2014-01-13 -0,0142 287 258 29 Immagine allegata (clicca per ingrandire) Registrato Agosto 2011 Status: Utente 1.132 messaggi non prendere personalmente, quello non è il mio intendono, ma questo è un modo terribile di eseguire una ottimizzazione. In realtà a ottimizzare nulla. In sostanza il codice cerca il periodo EMA che eseguirà meglio il prossimo anno conoscendo il prossimo anno. Da Investopedia: definizione di Look-Ahead Bias Bias creata con l'uso di informazioni o dati in uno studio o una simulazione che non sarebbe stato conosciuto o disponibile durante il periodo analizzato. Questo di solito portare a risultati non accurati nello studio o la simulazione. Quando si rifiuta EMA 5 perché dà risultati male sei fuga di informazioni nel passato. Si è ora alla ricerca di un EMA sapendo che non è 5 sulla base dei dati futuri. Poi di ripetizione aggiungere più informazioni futuro nel passato. Alla fine si utilizza EMA X perché il backtest trovato sarà il migliore. Utilizzando EMA X nel primo commercio il valore di X è stato infered da tutto il futuro di dati. Un altro problema è una sorta di polarizzazione sopravvivenza. Si rifiuta tutti gli artisti poveri. Ma AlphaOmega ha mostrato che: se si prende un po 'di strategie casuali un bel po' di loro sovraperformare il mercato per puro caso. Uno di loro sarà quotthe bestquot. E 'come si chiede un vincitore lotery i numeri ha giocato per usarli prossima settimana. Tu non verificare che ciò che si trova generalizza utilizzando i dati out-of-campione. L'ultimo problema che vedo è la mancanza di dati. Youre dell'uso 1 anno di dati. Questo non è abbastanza rappresentativo. Questo è il motivo per cui la scansione dei parametri utilizzando l'intero dati non è mai la strada da percorrere. È necessario utilizzare solo le informazioni fino a prima che la barra corrente. Questo è ancora più importante se si utilizza reti neurali. Sono molto bravi a imparare a memoria il set di dati. No avidità. Niente paura. A soli matematica. Ottimizzazione dei parametri di negoziazione e backtesting R è grande a causa di tutti i pacchetti disponibili per esso (molti pacchetti legati negoziazione), e la sua vettorializzare quindi è molto veloce. Segue un esempio di un semplice sistema di scambio, ma il codice può essere facilmente adattato per qualsiasi sistema. Se avete qualche idea per testare, postare qui e possiamo facilmente adattare questo codice per testare. Se qualcuno è abile in fase di test più tempi in R, si prega di postare qui o contattatemi. Ho alcune domande per voi. -) Questo codice di esempio per ottimizzare una lunghezza EMA. Ho calcolato. state usando AdG nel modo sbagliato. Non entrare nei dettagli, ma vi posso dire che ho provato MAs per un periodo di 20 anni e dare un bordo con una varietà di parametri solo AdG più veloci danno più segnali, dovrebbero funzionare su qualsiasi strumento, alcuni sono più trend in modo da ottenere risultati migliori . in ogni caso nessun indicatore è la migliore, ma complicato da codice. Nulla di più fantasia Mi dispiace che era ovvio per me. Si inizia con un po 'di soldi. Quello è 1 volta la dimensione del conto. Se si perde 1 del proprio account si perde 0.01 volta che il tuo account. Rimane 0.99 ora il tuo account. Questa perdita si è moltiplicato il tuo conto di un fattore 0,99. Stessa cosa se si vince 1, l'account viene moltiplicato per un fattore di 1,01. (1-x) e (1x) sono i fattori moltiplicativi dove x è la frazione del conto si rischia. Essi sono indipendenti dalle dimensioni conto. Quando si vince, allora si perde il conto viene moltiplicato per (1x) (1-x). La sequenza di win-win-lose-win-lose-lose. Grazie per i chiarimenti. Lo apprezzo. Il vostro punto circa l'indipendenza dei termini della formula bloccato con me, ma ho dovuto dimostrare a me stesso attraverso la simulazione (Im non andando a postare la prova) alla ricerca di una scappatoia che non è mai emerso. Quindi l'unico modo in cui questo tipo di schema funziona è se si modifica la frazione scommessa (dire 1-1,5 a 1.2, ecc) ogni commercio. E l'unico caso in cui alterando la frazione scommessa su ogni commercio ha un senso è se tale frazione scommessa alterazione riflette un increasedecrease in futuro probabilità di vittoria a causa di qualche dipendenza. Questo è simile alla dipendenza di una scarpa blackjack finita che è quasi vuota e piena di carte a faccia. Al contrario per l'occasione blackjack, un generatore di numeri casuali crea pareggi indipendente. Così, quando ho fatto una simulazione di WLWL modelli di lunghezza x, che era inutile perché il precedente pareggi dont influenza il futuro richiama in alcun modo. Nei mercati c'è qualche dipendenza in determinati momenti. Basta chiedere i commercianti FF che impiegano un sistema di rete di serie sulla dipendenza dopo un annuncio di notizie porta alla loro strategia di martingala curva regolare equity bella di andare comprare, comprare, comprare fino in fondo, giù giù. Per quotbeat il systemquot un professionista può utilizzare una strategia che alterna sempre posizioni (BSBSBS). Tuttavia ci sono ancora momenti in cui si ottiene la obbligatorie 14 sconfitte di fila con questo tipo di schema. Così abbastanza fantasticare su sopraelevazione perdere schemi in terreni martingala, e tornare alla realtà. Per quanto riguarda il rischio per il commercio, in base alla mia ricerca, la soluzione ottimale (in particolare per il trading discrezionale) è questo: io uso una strategia MM che è simile a quello descritto da AlphaOmega. Credo che i commercianti che provengono da contratti a termine a capire come funziona, in pratica, a causa della mancanza di flessibilità dimensione del lotto in future. Il deficit principale con questo tipo di strategia plateau è che lo fa grande il tempo che non diminuisce le dimensioni (vedi alphaomegas foto). Quando si deve diminuire la dimensione, è peggio di una di metodo del patrimonio netto, perché si finisce per prendere le perdite più grandi delle dimensioni del commercio superiore fino a quando la diminuzione dimensioni calci, e quindi ci vuole anche più a lungo nel prelievo di tornare fino a massimi azionari perché la dimensione rimane a plateau inferiore. Un po 'come un whipsaw equità. Questo documento può essere di un certo interesse. Si noti la necessità di conoscere l'aspettativa della strategia. Questo MM aumenta la dimensione in cui la strategia è di sotto del suo prestazioni attese. DD sono rapidamente recuperato. Ma bisogna essere veramente sicuri del bordo, perché se la strategia è poco efficiente perché il mercato è troppo lontano dal regime di lavoro della strategia che si over-leverage una (temporanea) perdente. È necessario conoscere l'aspettativa in tempo reale. Intelligente, ma molto pericoloso. Grazie per la pubblicazione di questo documento. La sua un interessante idea - simile a modificare dimensione scommessa sulla base di conteggio delle carte nel blackjack. Tuttavia come fai notare che è pericoloso. Col senno di poi (dopo aver eseguito un test di sistema su dati storici), l'aspettativa è essenzialmente il profitto medio per il commercio nel periodo misurato. Se cominciamo con l'aspettativa misurata in questo modo stiamo cercando avanti o snooping dei dati. Così, naturalmente, i risultati di questa strategia MM sarà meglio che usando solo una frazione fissa di fluttuazione del patrimonio netto (che non fa ipotesi su quelli futuri). In un certo senso mi veda questo metodo come simile al metodo pianoro, dove si scambi una dimensione fissa fino a quando si raggiunge un pianoro higherlower, tranne l'altopiano continua a dimensione fissa in un prelievo che è inferiore all'importo plateau, mentre questo metodo sarebbe presumibilmente aumentare le dimensioni durante un prelievo perché quotknowsquot dove andrà a finire equità saggio - dati snooping bias. Ho un paio di idee per testare su questo attraverso la simulazione. Per esempio se prendiamo corrente equità e basta aggiungere ad esso il profitto medio atteso dal commercio successivo poi sei sempre supponendo che il profitto medio atteso equità equità lo dimensione scommessa sarà solo leggermente più grande basandosi sul patrimonio netto corrente. Tale una piccola differenza, mi chiedo se non fa alcuna differenza a tutti (come previsto si fa poca differenza) Tuttavia l'indirizzo articolo pretende l'applicazione della leva finanziaria che ha alcuni effetti interessanti. Dato un sistema 5050 con le vittorie di 15 pips e le perdite di 10 pips correre con le due strategie MM ottengo il seguente risultato avvio 1000 saldi bancari. Si noti il ​​grafico in alto è per cento del capitale (POE), grafico centrale è dimensionamento basa sulla speranza, e il grafico di fondo è l'aspettativa di dimensionamento - POE per mostrare la differenza nel corso del tempo. Se nessun effetto leva si usa (leva di 1), allora il risultato è abbastanza semplice a favore della speranza di dimensionamento. (POE) 2.080,415 (aspettativa) 2.973,208 Immagine allegata (clicca per ingrandire) Tuttavia, se si applica un po 'di leva finanziaria (leverage 3x) qualcosa di interessante accade quando si confrontano le due curve patrimoniali risultanti oltre 3000 compravendite. (Ending saldi:. (POE) 8233.274, (aspettativa) 14.007,17 La percentuale del capitale (fisso fazioni) supera quasi fin dall'inizio e continua ad aumentare nel suo dominio fino al circa 2000 commerci Poi l'aspettativa di base calci di dimensionamento e subito dopo 2600 commerci inizia a fare meglio su base assoluta, e molto drammatico. Tutte le idee sul perché questo fenomeno potrebbe verificarsi in presenza di leva Attached immagine (clicca per ingrandire) vale anche la pena notare che se si preme la leva troppo alta (10 in questo caso) il dimensionamento aspettativa spegne (colpisce saldo bancario zero) prima, dopo alcune oscillazioni. Mentre io posso dimostrare matematicamente, visivamente penso di poter capire come si arriva a quelle curve esempio azionari di vostra utilizzando i diversi approcci per posizionare il dimensionamento. quando si confrontano un processo a gradini di increasingdecreasing dimensioni posizione rispetto ad un processo incrementale progressivo increasingdecreasing formato di posizione è il metodo di regolazione sia incrementale o uno scalino che fa tutta la differenza che è semplicemente ingrandita (amplificata) di leva finanziaria che è presente su tutta la serie storica . Ad esempio, per la serie di test prendere una porzione finita segmento di tempo di una curva di equità sia durante un prelievo (Esempio A) e un Drawup - (Esempio B). Si supponga che la frequenza di eventi commerciali sono identici per entrambi gli scenari. In altre parole, che le operazioni sono perfettamente sincronizzate se si applicano una regolazione della posizione dimensionamento incrementale o una posizione a gradini dimensionamento regolazione. Esempio A - soluzione Nel corso di questo segmento finito si produce un risultato prelievo che è il risultato della perdita di ogni risultato commercio singola uguale x il numero di transazioni a gradini. Sotto una soluzione a gradini, uguale posizione dimensionamento ad ogni risultato commercio incrementale per ogni evento commerciale lungo un passo sarà quindi prodotta portando ad un metodo semplice di semplice aggiunta di ogni perdita di commercio uguale x il numero di operazioni per produrre un risultato totale prelievo. per esempio. un prelievo totale di dire 40. Esempio A - soluzione incrementale Ai sensi del medesimo segmento finito, in una soluzione incrementale la regolazione in posizione dimensionamento in base ad una diminuzione del patrimonio netto ad ogni evento commerciale produce una diminuzione incrementale in posizione dimensionamento ad ogni evento commercio attraverso stesso segmento finita. Il risultato sarà un prelievo totale ridotto rispetto alla serie tempo, ogni singola perdita diventa progressivamente più bassa ad es. un prelievo totale di dire 30. Il profitto medio per ogni evento commerciale produrrà una distribuzione asimmetrica. L'impatto di leva finanziaria sia sotto queste situazioni serve semplicemente per amplificare la discrepanza equità tra questi due approcci. Esempio B - soluzione Nel corso di questo segmento finito si produce un risultato drawup che è il risultato del profitto di ogni risultato commercio singola uguale x il numero di transazioni a gradini. Sotto una soluzione a gradini, uguale posizione dimensionamento ad ogni risultato commercio incrementale attraverso il passo sarà quindi prodotta portando ad un metodo semplice di semplice aggiunta di ogni profitto commercio x il numero di operazioni per produrre un risultato totale di profitto. per esempio. un profitto totale di dire 40. Esempio B - soluzione incrementale Sotto stesso segmento finita, sotto una soluzione incrementale la regolazione in posizione dimensionamento conformemente ad un aumento netto ad ogni evento commerciale produce un aumento incrementale in posizione dimensionamento ad ogni evento commercio attraverso stesso segmento finita. Il risultato sarà un profitto totale ridotto rispetto alla serie tempo, ogni singolo profitto diventa progressivamente più alta. per esempio. un profitto totale di dire 30. Il profitto medio per ogni evento commerciale produrrà una distribuzione asimmetrica. Procedimento gradini di regolazione serve per amplificare la volatilità dei rendimenti rispetto a un metodo incrementale di regolazione. Ogni forma di pregiudizio in una serie temporale è semplicemente amplificato dalla leva. Ci sono due modi principali si può andare ad affrontare i rendimenti delle prestazioni. Commercio un unico sistema per sfruttare pregiudizi di questo approccio singolare uso della leva per amplificare i profitti seriali (o le perdite), o utilizzare la diversificazione come base per evitare la leva ancora amplificare pregiudizi di un insieme di serie storiche non-correlato attraverso interferenza distruttiva del rumore e della somma dei segnali non correlati. Il secondo approccio ha una più solida base statistica in relazione alla fornitura di rischio ponderate restituisce prestazioni. Quidquid dictum latine, altum videtur Iscritto gen Stato 2007: in via di sviluppo. 915 Messaggi Ispirato da questa grafica elegante sul caso passeggiate così come le curve inseriti dagli AlphaOmega, Copernico, PipMeUp, ezcurrency, 9047 e forse altri, ho deciso di rotolare il mio uno passeggiate aleatorie dimensionali. Ho anche deciso di incorporare qualcosa che GoldTheHun ha parlato sulle schede in diversi luoghi, tra cui di recente qui. L'idea di base di uno passeggiate aleatorie dimensionali è descritto molto bene in questo facile da capire articolo o serie di articoli sulle passeggiate aleatorie in loco MIT. In sostanza abbiamo un modo per misurare quanto una unidimensionale random walk possa spostarsi dal suo punto di partenza, e che formula è sqrt (n) step, dove quotnquot è il numero di passi e quotstepquot è quanto lontano viaggia ad ogni passo verso l'alto o verso il basso -. Quindi, se ogni passo è 0,001 o 10 pips e vogliamo sapere quanto il nostro quotpricequot viaggerà oltre 100 gradini (bar) la formula è sqrt (100) 0.001 per calcolare una cosa chiamata la radice della media distanza al quadrato (RMSD). Visivamente sembra che questo quando tracciati come 1deviation banda (bianco) e 2 banda di deviazione (giallo) nel corso del tempo. Si noti come la fascia si allarga lentamente nel tempo. Intuitivamente questo ha un senso perché, come si prende più passi la probabilità che la gamma si espande aumenta. Immagine allegata (cliccare per ingrandire) Può questo essere usato informazioni a scopo di lucro Un ragazzo che ha postato un po 'indietro su EliteTrader chiamato maestro (e abogdan sotto il nome precedente su quel bordo) mantenuto suggerendo che potrebbe essere fatto. E così fa GoldTheHun qui su FF, più recentemente, con il suo tocco usando recenti proiezioni ATR e la gamma. Quando ho eseguito il seguente script (cambia ad ogni iterazione a causa di variazione casuale) su 1000 prove 248 o 24.8 erano al di fuori delle fasce bianche mentre 75,2 sono stati all'interno della banda bianca. 37 o 1-,037 96,3 erano all'interno delle bande gialle esterni. Queste misurazioni sono state effettuate sull'ultimo gradino (step 100). Forse ho trovato qualcosa. Ho generato una passeggiata con winrate50 e RR1.3. L'aspettativa è 0.15. Ho usato 300 campioni (commercio). Invece di regredire tutta la storia equità ho tagliato in 15 sequenze non sovrapposti di 20 mestieri (15x20300). Ho preso il patrimonio media ad ogni passo. Quello è la linea rossa. Ho regredito questa media per ottenere la linea nera. L'equazione della linea è y0.1572x-0,5063. La verità è terra y0.15x0. Cosa ne pensi (Grazie a Copernico per l'idea di bootstrap) Immagine allegata (clicca per ingrandire) forse ho trovato qualcosa. Ho generato una passeggiata con winrate50 e RR1.3. L'aspettativa è 0.15. Ho usato 300 campioni (commercio). Invece di regredire tutta la storia equità ho tagliato in 15 sequenze non sovrapposti di 20 mestieri (15x20300). Ho preso il patrimonio media ad ogni passo. Quello è la linea rossa. Ho regredito questa media per ottenere la linea nera. L'equazione della linea è y0.1572x-0,5063. La verità è terra y0.15x0. Cosa ne pensi (Grazie a Copernico per l'idea di bootstrap) estimate. png2140417 Quello mi ha fatto pensare FXEZ. Bella roba. -)

No comments:

Post a Comment