Hierarchical models for detection and description of anomalies
Project goals
Anomaly detection, which aims to identify samples very different from majority, is an important tool of unsupervised data analysis. Currently, most methods for anomaly detection use relatively simple shallow models without any complex layers and hierarchies. This is in sharp contrast to the area of supervised classification, where hierarchical models with large number of layers stacked on top of each other have proven to be more effective than shallow models. This project aims to partially fill this gap by proposing a systematic study of hierarchical models for anomaly detection from Bayesian and neural network perspectives. Since we conjecture that the main difference to supervised classification is the need to recognise rare samples, the core of the work focus on how to model frequent and rare samples simultaneously. Models developed during the project will be validated on anomaly detection problems in domains of network security and plasma discharges in Tokamak.
Keywords
anomaly detectionhierarchical modelsBayesian inferencedeep learningmulti-instance learning
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
Standardní projekty 22 (SGA0201800001)
Main participants
Ústav teorie informace a automatizace AV ČR, v. v. i.
Contest type
VS - Public tender
Contract ID
18-21409S
Alternative language
Project name in Czech
Hierarchické modely pro detekci a popis anomalií
Annotation in Czech
Detekce anomalií je důležitým nástrojem automatického zpracovaní dat v případech, kdy není u žádných dat známé, do jaké třídy patří (učení bez učitele). Detekce anomálií se snaží nalézt vzorky, které se výrazně liší od většiny a proto jsou potenciálně zajímavé pro další analýzu. V současné době je větsina metod založena na jednoduchých mělkých modelech bez jakékoliv složitější hierarchie. Oboru učení s učitelem, kde jsou k části vzorků známé třídy do kterých náleží, se složité modely s mnoha vrstvami složenými nad sebou ukázaly mnohem silnější než mělké modely. Cílem tohoto projektu je systematicky prozkoumat použití hlubokých modelů v detekci anomálií. Předpokládáme, že největší odlišností detekce anomalií je nutnost modelovat relativně řídké jevy, což je v přímém rozporu s oblasti učení s učitelem, který se snaží modelovat větsinu jevů. Jádrem práce tedy bude studium, kterak upravit modely tak, aby modelovaly časté a řídké jevy současně. Nalezené modely budeme prakticky ověřovat v oblastech síťové bezpečnosti a modelovaní plasmatu v Tokamaku.
Scientific branches
R&D category
ZV - Basic research
OECD FORD - main branch
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
OECD FORD - secondary branch
—
OECD FORD - another secondary branch
—
AF - Documentation, librarianship, work with information
BC - Theory and management systems
BD - Information theory
IN - Informatics
Completed project evaluation
Provider evaluation
V - Vynikající výsledky projektu (s mezinárodním významem atd.)
Project results evaluation
The project fulfilled the objectives, the achieved results are in accordance with the project plan and also the relevant project scope, number and quality of publications are at a very good level (several outputs are in AIS: Q1). Funds were used in accordance with the grant agency rules.
Solution timeline
Realization period - beginning
Jan 1, 2018
Realization period - end
Dec 31, 2021
Project status
U - Finished project
Latest support payment
Apr 1, 2021
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP22-GA0-GA-U
Data delivery date
Jun 29, 2022
Finance
Total approved costs
9,663 thou. CZK
Public financial support
8,862 thou. CZK
Other public sources
813 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
9 663 CZK thou.
Public support
8 862 CZK thou.
91%
Provider
Czech Science Foundation
OECD FORD
Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Solution period
01. 01. 2018 - 31. 12. 2021