System for detection and classification of obstacles through data-fusion of lidar and RGB cameras (ASGARD-CLASS)

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216305%3A26620%2F22%3APR36461" target="_blank" >RIV/00216305:26620/22:PR36461 - isvavai.cz</a>

Výsledek na webu

<a href="https://ai4csm.ceitec.cz/vysledky" target="_blank" >https://ai4csm.ceitec.cz/vysledky</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

System for detection and classification of obstacles through data-fusion of lidar and RGB cameras (ASGARD-CLASS)

Popis výsledku v původním jazyce

The ASGARD-CLASS software system is designed for obstacle detection in lidar data in a point-cloud format, followed by classification of the obstacle type into several classes. The system will find use in mobile robotics, where the data created by this program can serve as a simplified and easily searchable map of the robot's surroundings. It enables obstacle detection, floor filtering and filtering of solid parts of the environment (e.g. walls) using advanced AI-based segmentation techniques. The classification of the obstacles detected in this way is then performed on a data fusion of lidar data and data from RGB cameras, which are annotated using a neural network based on a pre-trained YOLO network, which was further trained on its own dataset from an industrial environment. The system is compatible with the ASGARD-NAV navigation, planning and mapping tool, which can use information about the obstacle class for better trajectory planning.

Název v anglickém jazyce

System for detection and classification of obstacles through data-fusion of lidar and RGB cameras (ASGARD-CLASS)

Popis výsledku anglicky

The ASGARD-CLASS software system is designed for obstacle detection in lidar data in a point-cloud format, followed by classification of the obstacle type into several classes. The system will find use in mobile robotics, where the data created by this program can serve as a simplified and easily searchable map of the robot's surroundings. It enables obstacle detection, floor filtering and filtering of solid parts of the environment (e.g. walls) using advanced AI-based segmentation techniques. The classification of the obstacles detected in this way is then performed on a data fusion of lidar data and data from RGB cameras, which are annotated using a neural network based on a pre-trained YOLO network, which was further trained on its own dataset from an industrial environment. The system is compatible with the ASGARD-NAV navigation, planning and mapping tool, which can use information about the obstacle class for better trajectory planning.

Druh

R - Software

CEP obor

—

OECD FORD obor

20201 - Electrical and electronic engineering

Projekt

<a href="/cs/project/8A21013" target="_blank" >8A21013: Automotive Intelligence for Connected Shared Mobility</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2022

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

ASGARD-CLASS

Technické parametry

Software je realizován jako soubor nodů na bázi ROS2, který realizuje sběr dat ze senzorů pomocí vstupního rozhraní a který výsledky detekce a klasifikace poskytuje dále ve formě ROS2 topic.

Ekonomické parametry

Software je využíván pro zlepšení plánování v robotech výzkumné skupiny, komerční využití samostatného modulu se zatím nepředpokládá.

IČO vlastníka výsledku

00216305

Název vlastníka

Vysoké učení technické v Brně