Real-time detection of anomalous events in a non-stationary environment
Project goals
With the growing use of computers and portable devices connected to the network, the amount of data available for automatic processing quickly increases. One of the essential procedures in the data-processing is a detection and removal of anomalous samples, a problem called anomaly (outlier) detection. Since the speed of the data acquisition is very high, there is a growing need to process them in a real-time. To make the problem even more difficult, it can happen that the probability distribution of non-anomalous data changes with time. The goal of this project is the improvement of existing anomaly detection methods in order to make them (a) more efficient to be applicable in a real-time domain (b) to make them more robust against changes in the distribution generating non-anomalous data. The goal will be approached by using ensemble of simple anomaly detectors that will be constantly adapted to the changes in normal samples. The real-time anomaly detection is important for many applications relatedto security, such as fraud detection, intrusion detection, SPAM detection, etc.
Keywords
anomalydetectionreal-timedataprocessingnon-stationaryenvironment
Public support
Provider
Czech Science Foundation
Programme
Post-graduate (doctorate) grants
Call for proposals
Postdoktorandské granty 12 (SGA02012GA1PD)
Main participants
—
Contest type
VS - Public tender
Contract ID
P103-12-P514
Alternative language
Project name in Czech
Detekce anomalií v reálném čase a časově nestálem prostředí
Annotation in Czech
S rostoucím využíváním počítačů a přenosných zařízení připojených k síti se rychle zvyšuje množství dat, které je nutno automaticky zpracovat. Jedním z důležitých kroků v jejich zpracování je detekce a odstranění anomálních vzorků. Vzhledem k vysoké rychlosti s jakou jsou vzorky získávany, je pro stále více aplikací nezbytné detekovat anomálie v reálném čase. Mnohdy je navíc nutné detekovat anomálie v prostředí, které se mění s časem, což dále zesložiťuje problém. Cílem tohoto projektu je zlepšit stávající metody detekce anomálií tak, (a) aby byly použitelné v případech, kdy se data musejí zpracovat v reálné čase, (b) aby byly odolné vůči změnám v pravděpodobnostní distribuci generující normální data. K dosažení cíle plánujeme použít množinu jednoduchých detektorů, které se budou průběžně přizpůsobovat měnící se distribuci normálních vzorků. Detekce anomálií v reálném čase je důležitá pro mnoho aplikací souvisejících s bezpečností, jako je například odhalování podvodů v transakcích kreditních karet, detekce narušení bezpečnosti v počítačových sítích, detekce spamu, atd.
Scientific branches
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
The contribution of the project in the area of anomaly detection is supported by one article in an impacted journal and eight conference papers.
Solution timeline
Realization period - beginning
Jan 1, 2012
Realization period - end
Dec 31, 2014
Project status
U - Finished project
Latest support payment
Apr 18, 2014
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP15-GA0-GP-U/02:2
Data delivery date
May 6, 2016
Finance
Total approved costs
2,515 thou. CZK
Public financial support
2,515 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
2 515 CZK thou.
Public support
2 515 CZK thou.
100%
Provider
Czech Science Foundation
CEP
JD - Use of computers, robotics and its application
Solution period
01. 01. 2012 - 31. 12. 2014