A Unified 3D Map Representation
Project goals
3D scene representations, or 3D maps, are a key component of any type of intelligent system (agent). Significant progress has been made in terms of 3D mapping, enabling a wide range of applications, including self-driving cars and augmented reality systems. Yet the current generation of 3D maps have fundamental limitations that can be traced to the fact that mapping algorithms and scene representations are tailor-made for a specific sensor setup. This makes sharing 3D maps between intelligent systems with different sensor setups and true crowd-sourced mapping essentially impossible. Further, algorithms and functionality such as visual localization, semantic segmentation, handling scene dynamics, and ensuring privacy need to be re-invented for each map representation. This project proposes an unified map representation to address these limitations. It will be able to integrate data captured from heterogeneous sources, handle the fact that the world is dynamic, and provide full privacy control. The unified map representation will thus enable the next generation of intelligent agents.
Keywords
implicit neural representations3D mappingvisual localizationintelligent systemscomputer visionmachine learning
Public support
Provider
Czech Science Foundation
Programme
Grant projects of excellence in basic research EXPRO
Call for proposals
SGA0202300004
Main participants
České vysoké učení technické v Praze / Český institut informatiky, robotiky a kybernetiky
Contest type
VS - Public tender
Contract ID
23-07973X
Alternative language
Project name in Czech
Sjednocená Reprezentace 3D Map
Annotation in Czech
3D reprezentace scény, neboli 3D mapy, jsou základním stavebním kamenem jakéhokoli typu inteligentního systému (agenta). V oblasti 3D mapování došlo k významnému pokroku, který umožnil širokou škálu aplikací zahrnující samořiditelná auta a systémy rozšířené reality. Současná generace 3D map však trpí zásadním omezením, které vyplývá z toho, že mapovací algoritmy a reprezentace scény jsou uzpůsobené konkrétní senzorické soustavě. Kvůli tomu je sdílení 3D map mezi inteligentními systémy s rozdílnými soustavami senzorů a hromadné mapování z více zdrojů v zásadě nemožné. Navíc pro každou reprezentaci mapy je třeba znovu vyvinout algoritmy a funkce jako je vizuální lokalizace, sémantická segmentace, zpracování dynamických částí scény a důvěrnost dat. Tento projekt navrhuje jednotnou reprezentaci mapy zacílenou na tato omezení, která bude schopna integrovat data nasbíraná z heterogenních zdrojů, vyrovnat se s dynamičností scény, a zajistit plnou kontrolu soukromí. Jednotná reprezentace mapy tak umožní vzniknout nové generaci inteligentních agentů.
Scientific branches
R&D category
ZV - Basic research
OECD FORD - main branch
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
OECD FORD - secondary branch
—
OECD FORD - another secondary branch
—
AF - Documentation, librarianship, work with information
BC - Theory and management systems
BD - Information theory
IN - Informatics
Solution timeline
Realization period - beginning
Jan 1, 2023
Realization period - end
Dec 31, 2027
Project status
B - Running multi-year project
Latest support payment
Apr 1, 2023
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP24-GA0-GX-R
Data delivery date
Feb 19, 2024
Finance
Total approved costs
40,073 thou. CZK
Public financial support
40,073 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Recognised costs
40 073 CZK thou.
Public support
40 073 CZK thou.
0%
Provider
Czech Science Foundation
OECD FORD
Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Solution period
01. 01. 2023 - 31. 12. 2027