3D reconstruction of objects

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21730%2F24%3A00379875" target="_blank" >RIV/68407700:21730/24:00379875 - isvavai.cz</a>

Result on the web

<a href="https://testbed.ciirc.cvut.cz/reflections-on-testbeds-participation-at-msv-2024/" target="_blank" >https://testbed.ciirc.cvut.cz/reflections-on-testbeds-participation-at-msv-2024/</a>

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

3D reconstruction of objects

Original language description

This software for 3D object reconstruction, powered by artificial intelligence, enhances object detection and manipulation in dynamic environments. Using a standard RGB camera, it captures objects spherically and processes the images into 3D representations for precise detection, position estimation, and handling. At its core is an advanced 3D reconstruction algorithm that combines Volume Rendering and machine learning, ensuring high-fidelity representations without sampling losses. It enables position estimation for complex materials like shiny or metallic surfaces using a Render-and-Compare method. The software processes unseen parts in minutes, supporting flexible manufacturing by rapidly integrating new objects into production lines. It also expands the dataset of processable objects, facilitating tasks like grip point estimation and object localization. Targeted at small and medium-sized enterprises, it reduces costs and increases adaptability in production. Future plans include leveraging generative AI to accelerate reconstruction and enhance semantic object understanding.

Czech name

—

Czech description

—

Type

R - Software

CEP classification

—

OECD FORD branch

20204 - Robotics and automatic control

Project

—

Continuities

R - Projekt Ramcoveho programu EK

Publication year

2024

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

857306/1

Technical parameters

Software 3D reconstruction of objects je určen pro rekonstrukci 3D modelů objektů na základě obrazových dat ze standardní RGB kamery, přičemž vstupem jsou snímky objektu pořízené z různých úhlů (sférické snímání) a výstupem je 3D reprezentace objektu využitelná pro detekci, odhad polohy a robotickou manipulaci. Jádrem systému je algoritmus 3D rekonstrukce kombinující principy Volume Rendering a metod strojového učení, který umožňuje vytvářet vysoce věrné modely bez ztráty detailu způsobené vzorkováním. Software podporuje zpracování objektů s komplexními optickými vlastnostmi (např. lesklé a kovové povrchy) pomocí metody Render-and-Compare a umožňuje rekonstrukci dosud neznámých objektů v řádu minut. Systém rozšiřuje množinu zpracovatelných objektů a poskytuje podklady pro úlohy, jako je lokalizace objektu a odhad úchopových bodů. Funkčnost byla ověřena experimentálně při rekonstrukci a následném využití objektů v robotických úlohách, přičemž byla prokázána použitelnost výstupů pro přesnou manipulaci.

Economical parameters

Ekonomická hodnota software 3D reconstruction of objects je odhadována v rozmezí 0,5–1,0 mil. Kč při komerčním uplatnění, přičemž jeho nasazení umožňuje významné snížení nákladů na přípravu robotických aplikací díky odstranění potřeby manuálního modelování objektů a zrychlení procesu jejich digitalizace. Software umožňuje rekonstrukci nových objektů v řádu minut, čímž dochází ke zkrácení doby implementace výrobních změn a zvýšení flexibility výroby, zejména v prostředí malých a středních podniků. Využití řešení vede k redukci nákladů na integraci nových produktů do výroby a ke snížení prostojů výrobních linek, přičemž úspory lze kvalifikovaně odhadnout v řádu desítek procent oproti konvenčním postupům založeným na manuální přípravě 3D modelů a ladění manipulace. Dalším přínosem je rozšíření spektra automatizovatelných úloh, což zvyšuje celkovou efektivitu a návratnost investic do robotizace.

Owner IČO

68407700

Owner name

České vysoké učení technické v Praze / Český institut informatiky, robotiky a kybernetiky