Industrial Metaverse Demonstrator

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21730%2F24%3A00379874" target="_blank" >RIV/68407700:21730/24:00379874 - isvavai.cz</a>

Result on the web

<a href="https://testbed.ciirc.cvut.cz/reflections-on-testbeds-participation-at-msv-2024/" target="_blank" >https://testbed.ciirc.cvut.cz/reflections-on-testbeds-participation-at-msv-2024/</a>

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

Industrial Metaverse Demonstrator

Original language description

The research was focused on developing and testing software for camera-based robotic manipulation to advance flexibility and efficiency in automation. The software integrates a 6D pose estimation algorithm using a static RGB camera and supports both virtual and physical environments. A robotic cell was created, tested virtually using Process Simulate and KUKA. OfficeLite, and refined in NVIDIA Omniverse for high-fidelity rendering and enhanced simulation accuracy. Key components of the software include a dataset generation tool for machine learning model training and an interactive application serving as a Digital Model within NVIDIA Omniverse. The modular software architecture incorporates a high-level controller and a unified interface, ensuring scalability for diverse robotic tasks. Virtual testing demonstrated the software’s ability to generate synthetic datasets that effectively train object detection models. Real workstation tests confirmed consistency between virtual and physical performance, validating the software’s applicability and the authenticity of the digital model in real-world scenarios.

Czech name

—

Czech description

—

Type

R - Software

CEP classification

—

OECD FORD branch

20204 - Robotics and automatic control

Project

—

Continuities

R - Projekt Ramcoveho programu EK

Publication year

2024

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

37294/2024/SW_Metaverse

Technical parameters

Software Industrial Metaverse Demonstrator je navržen jako modulární systém pro kamerově naváděnou robotickou manipulaci s využitím digitálního modelu v prostředí průmyslového metaverza; vstupními daty jsou obrazová data z RGB kamery ve statické konfiguraci a výstupem je 6D pozice objektu (prostorová poloha a orientace) využitelná pro řízení robotu, přičemž systém umožňuje generování syntetických datasetů pro trénink modelů strojového učení bez nutnosti fyzického sběru dat. Software podporuje provoz jak ve virtuálním prostředí (Process Simulate, KUKA OfficeLite, NVIDIA Omniverse s vysokou mírou fyzikální věrnosti simulace), tak na reálném robotickém pracovišti, přičemž integrace s robotickými systémy je zajištěna prostřednictvím sjednoceného rozhraní a modulární architektura umožňuje jeho další rozšiřování o nové senzory a algoritmy. Funkčnost systému byla ověřena jak ve virtuálním prostředí (validace syntetických datasetů a trénovaných modelů), tak experimentálním nasazením na fyzickém pracovišti, kde byla prokázána shoda mezi simulovaným a reálným chováním systému.

Economical parameters

Ekonomická hodnota software Industrial Metaverse Demonstrator je odhadována v rozmezí 0,5–1,0 mil. Kč při komerčním prodeji, přičemž jeho využití umožňuje snížení nákladů na vývoj robotických aplikací zejména díky eliminaci potřeby rozsáhlého sběru reálných trénovacích dat a omezení nutnosti fyzického testování prostřednictvím využití virtuální simulace. Nasazení systému vede ke zkrácení doby vývoje a implementace robotických pracovišť (time-to-deployment) a ke snížení nákladů na ladění a validaci řešení, což lze kvalifikovaně odhadnout jako úsporu v řádu desítek procent oproti standardním postupům založeným výhradně na fyzickém testování. Dalším ekonomickým přínosem je možnost opakovaného využití softwaru napříč různými aplikacemi a pracovišti, což zvyšuje návratnost investice a podporuje škálovatelnost řešení v průmyslové praxi.

Owner IČO

68407700

Owner name

České vysoké učení technické v Praze / Český institut informatiky, robotiky a kybernetiky