Previsione delle anomalie
Si può notare chiaramente che ci sono tre grandi picchi e alcuni piccoli picchi. Questo dataset è un esempio specifico della classe di dataset di serie temporali su cui verte la domanda. Questa classe di dataset presenta due caratteristiche generali:
Ho elaborato un algoritmo che funziona molto bene per questo tipo di insiemi di dati. Si basa sul principio della dispersione: se un nuovo datapoint si trova a un determinato numero x di deviazioni standard di distanza da una media mobile, l’algoritmo segnala (chiamato anche z-score). L’algoritmo è molto robusto perché costruisce una media mobile e una deviazione separate, in modo che i segnali non corrompano la soglia. I segnali futuri vengono quindi identificati con circa la stessa precisione, indipendentemente dalla quantità di segnali precedenti. L’algoritmo riceve 3 input: lag = il ritardo della finestra mobile, soglia = lo z-score al quale l’algoritmo segnala e influenza = l’influenza (tra 0 e 1) dei nuovi segnali sulla media e sulla deviazione standard. Ad esempio, un ritardo di 5 utilizzerà le ultime 5 osservazioni per smussare i dati. Una soglia di 3,5 segnala se un punto dati si allontana di 3,5 deviazioni standard dalla media mobile. Un’influenza di 0,5 fornisce ai segnali la metà dell’influenza che hanno i punti dati normali. Allo stesso modo, un’influenza di 0 ignora completamente i segnali per ricalcolare la nuova soglia. Un’influenza di 0 è quindi l’opzione più robusta (ma presuppone la stazionarietà); l’opzione di influenza a 1 è la meno robusta. Per i dati non stazionari, l’opzione dell’influenza dovrebbe quindi essere collocata tra 0 e 1.
Come si calcolano le anomalie in Excel?
Quando si desidera eseguire un’analisi delle anomalie su un set di dati, è sufficiente selezionare le righe e le colonne e fare clic sul pulsante Calcola. Una volta completato il calcolo, i punteggi di anomalia vengono aggiunti alla colonna immediatamente a destra della selezione; assicuratevi quindi che questa colonna sia priva di dati, altrimenti verrà sovrascritta.
Come si calcola il punteggio di anomalia?
Il punteggio di anomalia è calcolato dalla distanza di ogni istanza dal centro del cluster moltiplicata per le istanze appartenenti al cluster.
Che cos’è la soglia di anomalia?
(ii) un valore massimo o minimo di dati all’interno di una comunicazione, laddove tale valore sia impostato dalla Società di Comunicazione Dati, in ogni caso in conformità ai requisiti della Sezione G6 applicabili (rispettivamente) all’Utente o alla Società di Comunicazione Dati.
Serie di dati per il rilevamento di anomalie temporali
Il rilevamento delle anomalie utilizza la modellazione statistica per trovare automaticamente tendenze inaspettate nei dati. Il modello analizza le metriche e determina un limite inferiore, un limite superiore e un intervallo di valori previsto. Quando si verifica un picco o un calo inaspettato, il sistema avvisa l’utente nel report.
Il rilevamento delle anomalie utilizza un periodo di addestramento per calcolare, apprendere e segnalare i dati di un intervallo di previsione al giorno. Il periodo di addestramento è il periodo storico che identifica ciò che è normale e ciò che è anomalo, e applica ciò che è stato appreso al periodo di reporting. Nei report di marketing sono disponibili periodi di formazione di 30, 60 e 90 giorni. Nel report builder sono disponibili 30 giorni.
Ogni algoritmo viene applicato per determinare l’algoritmo con la somma degli errori al quadrato (SSE) più bassa. Vengono quindi calcolati l’errore percentuale assoluto medio (MAPE) e l’errore standard corrente per assicurarsi che il modello sia statisticamente valido.
Ad esempio, se si esegue un report per il periodo 1-14 gennaio e poi un report per il periodo 7-21 gennaio, è possibile che i dati di previsione per la stessa metrica tra il 7 e il 14 gennaio siano diversi nei due report. Ciò è dovuto alla differenza dei periodi di addestramento.
Rilevamento delle anomalie delle serie temporali
Fig. 3Immagini di esempio del dataset MVTec LOCO AD per ciascuna delle cinque categorie di dataset. Ogni categoria contiene immagini di addestramento, di validazione e di test prive di anomalie. Le immagini di prova aggiuntive contengono varie anomalie strutturali e logiche. Per tutte le anomalie vengono fornite annotazioni di verità a terra precise al pixelImmagine a grandezza naturale
Fig. 17Risultati qualitativi per ciascun metodo valutato sul dataset MVTec AD. La prima e la terza riga contengono esempi di anomalie strutturali, ossia il transistor danneggiato e i fili piegati nella sezione del cavo. La seconda e la quarta riga contengono esempi di anomalie logiche, come l’assenza totale del transistor e la presenza di un cavo blu anziché giallo.
Abbiamo condotto esperimenti approfonditi sul nostro nuovo set di dati e su un sottoinsieme adeguato del set di dati MVTec AD. I nostri risultati hanno dimostrato che i metodi esistenti tendono a essere prevenuti verso il rilevamento di uno dei due tipi di anomalie. Il nostro approccio ha ottenuto le stesse prestazioni nel rilevamento di anomalie strutturali e logiche e ha migliorato lo stato dell’arte nel rilevamento congiunto di entrambe. Tuttavia, a causa della complessità del nostro nuovo set di dati, c’è ancora spazio per futuri miglioramenti.
Rilevamento delle anomalie
Data Science Stack Exchange è un sito di domande e risposte per i professionisti della scienza dei dati, per gli specialisti del Machine Learning e per chi è interessato a saperne di più su questo campo. Basta un minuto per iscriversi.
Ho letto un documento di ricerca in cui si dice che si utilizza una soglia per il rilevamento delle anomalie. La soglia è determinata in modo che una certa proporzione di dati del set di dati di convalida venga etichettata come anomalia. come ha senso questo concetto
Quando i vostri algoritmi creano un modello di rilevamento delle anomalie, creeranno un insieme di valori attesi che rappresentano i comportamenti normali dei valori. Potete quindi utilizzare questi modelli per inviare avvisi basati sui valori attesi senza una soglia statica, oppure potete sovrapporli a un grafico come una banda. Idealmente, per attivare un allarme è necessaria una deviazione considerevole dai valori previsti. In questo caso, le soglie sono calcolate come errore o deviazione dai valori previsti e reali. Quando i punti dati sono in numero elevato, non è possibile determinare le soglie; in questo caso le soglie possono indurre falsi positivi, ma i risultati sono per lo più migliori. È possibile trovare le soglie ideali tracciando una curva RC con i tassi di TP e FP.