System for building an object-based 3D map of surroundings and its sharing among vehicles in the real-time (ASGARD-RTFMAP)

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216305%3A26620%2F24%3APR39921" target="_blank" >RIV/00216305:26620/24:PR39921 - isvavai.cz</a>

Result on the web

<a href="https://ai4csm.ceitec.cz/vysledky/" target="_blank" >https://ai4csm.ceitec.cz/vysledky/</a>

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

System for building an object-based 3D map of surroundings and its sharing among vehicles in the real-time (ASGARD-RTFMAP)

Original language description

The ASGARD-RTFMAP software, developed for the demonstrator within the AI4CSM project, is designed for real-time data fusion of sensory inputs from cameras, LiDARs, GPS, and IMU to create a simplified 3D map of the vehicle's surroundings. This 3D map is based on detected objects in the vicinity and is designed to be easily and efficiently shared with other vehicles equipped with the same software. The software is optimized for key parameters such as minimizing data flow within the vehicle through on-sensor data preprocessing, ensuring real-time functionality, and achieving low latency in propagating newly detected obstacles into the vehicle's 3D map. Based on these parameters, a computational network was developed consisting of two processing units communicating via the ROS2 framework. The proposed system encompasses everything from sensor drivers and sensor data preprocessing to multimodal data fusion, high-level detection based on neural network models, and algorithms for 3D map creation and sharing with other vehicles. Thanks to its modularity, individual algorithms can be easily modified or replaced without affecting the overall system's functionality. Tools for verifying key performance metrics are built-in, allowing for rapid validation of the system's properties.

Czech name

—

Czech description

—

Type

R - Software

CEP classification

—

OECD FORD branch

20204 - Robotics and automatic control

Project

<a href="/en/project/8A21013" target="_blank" >8A21013: Automotive Intelligence for Connected Shared Mobility</a><br>

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Publication year

2024

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

ASGARD-RTFMAP

Technical parameters

Software je realizován jako soubor nodů komunikujícími mezi sebou skrze framework ROS2. Navržený systém implementuje vše od ovladačů senzorů, přes předzpracování senzorických dat, multimodální datovou fúzi, vysokoúrovňových detekcí založených na modelech neuronových sítí až po algoritmy pro tvorbu 3D mapy okolí a její sdílení s ostatními automobily. Díky své modulárnosti je možné jednoduše modifikovat a zaměňovat jednotlivé algoritmy bez ovlivnění fungování zbytku systému.

Economical parameters

Software je určen pro autonomní vozidla a vozidla s asistenčním systémem. Komerční využití samostatného software se zatím nepředpokládá.

Owner IČO

00216305

Owner name

Vysoké učení technické v Brně