Stream4Flow: Software for mining and analysis of the large volumes of network traffic

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14610%2F16%3A00087653" target="_blank" >RIV/00216224:14610/16:00087653 - isvavai.cz</a>

Výsledek na webu

<a href="https://github.com/CSIRT-MU/Stream4Flow" target="_blank" >https://github.com/CSIRT-MU/Stream4Flow</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Stream4Flow: Software for mining and analysis of the large volumes of network traffic

Popis výsledku v původním jazyce

A framework for the real-time IP flow data analysis built on Apache Spark Streaming, a modern distributed stream processing system. The basis of the Stream4Flow framework is formed by the IPFIXCol collector, Kafka messaging system, Apache Spark, and Elastic Stack. IPFIXCol enables incoming IP flow records to be transformed into the JSON format provided to the Kafka messaging system. The selection of Kafka was based on its scalability and partitioning possibilities, which provide sufficient data throughput. Apache Spark was selected as the data stream processing framework for its quick IP flow data throughput, available programming languages (Scala, Java, or Python) and MapReduce programming model. The analysis results are stored in Elastic Stack containing Logstash, Elasticsearch, and Kibana, which enable storage, querying, and visualizing the results.

Název v anglickém jazyce

Stream4Flow: Software for mining and analysis of the large volumes of network traffic

Popis výsledku anglicky

A framework for the real-time IP flow data analysis built on Apache Spark Streaming, a modern distributed stream processing system. The basis of the Stream4Flow framework is formed by the IPFIXCol collector, Kafka messaging system, Apache Spark, and Elastic Stack. IPFIXCol enables incoming IP flow records to be transformed into the JSON format provided to the Kafka messaging system. The selection of Kafka was based on its scalability and partitioning possibilities, which provide sufficient data throughput. Apache Spark was selected as the data stream processing framework for its quick IP flow data throughput, available programming languages (Scala, Java, or Python) and MapReduce programming model. The analysis results are stored in Elastic Stack containing Logstash, Elasticsearch, and Kibana, which enable storage, querying, and visualizing the results.

Druh

R - Software

CEP obor

IN - Informatika

OECD FORD obor

—

Projekt

<a href="/cs/project/TA04010062" target="_blank" >TA04010062: Technologie pro zpracování a analýzu síťových dat velkého rozsahu</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2016

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

Stream4Flow

Technické parametry

Stream4Flow je možné využít v odvětvích zabývajících se bezpečnostním monitorování počítačových sítí. Framework umožnuje přijmout, analyzovat a zobrazit výsledky analýz síťového provozu v reálném čase. Framewokr obsahuje aplikace, které umožnují detekovat různé druhy síťových útoků a vypočítávat základní charakteristiky o jednotlivých zařízeních v síti. Tyto aplikace je možné využít pro odhalení podezřelého chování zařízení v dlouhodobém horizontu či následně pro tvorbu reputace daného zařízení. Software je primárně distribuován mezi týmy zabývající se síťovou bezpečností, ale je možné ho využít i v jiných oblastech zabývajích se zpracováním velkého objemu dat. Kontaktní osoba: Mgr. Tomáš Jirsík Ústav výpočetní techniky, Masarykova Univerzita Botanická 68a, Brno 602 00 e-mail: jirsik@ics.muni.cz tel:+420 549 494 271

Ekonomické parametry

Výsledek uspoří časové náklady nutné pro analýzu síťového provozu díky předpočítání charakteristik daného provozu a detekci. Dále ušetří personální kapacity z důvodu vytvoření platformy pro rychlé prototypování detekčních či analytických metod. Díky vhodně zvolenému typu licence mohou nástroj využít další subjekty zabývající se analýzou síťového provozu.

IČO vlastníka výsledku

00216224

Název vlastníka

Masarykova Univerzita Botanická 68a, Brno 602 00