Rozhraní pro multimodální komunikaci v systému ROS pro robotické platformy

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F49777513%3A23520%2F24%3A43974884" target="_blank" >RIV/49777513:23520/24:43974884 - isvavai.cz</a>

Výsledek na webu

<a href="https://kky-sw.zcu.cz/cs/sw/multimodal-hri-interface" target="_blank" >https://kky-sw.zcu.cz/cs/sw/multimodal-hri-interface</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

čeština

Název v původním jazyce

Rozhraní pro multimodální komunikaci v systému ROS pro robotické platformy

Popis výsledku v původním jazyce

Software je rozhranním implementovaným v prostředí Robot Operating System (ROS) určený ke zpracování dat a spouštění akcí za účelem multimodální komunikace člověk-stroj. Díky použití ROS je systém implementován modulárně a následně jednoduše rozšiřován o nové moduly.Současná verze obsahuje moduly se službami automatického rozpoznávání řeči (ASR) a syntézy řeči (TTS) využívající naší knihovnu Speechcloud. Tyto služby lze využít pro přirozenou komunikaci s robotickými entitami přes hlasové rozhraní. Podle potřeb konkrétní aplikace je lze dále kombinovat s pokročilejšími metodami a dalšími moduly, jako je například klasifikace záměru uživatele či řízení dialogu.Systém je vyvíjen s ohledem na multiplatformnost s možností spustit ho jak na platformách x86 (klasické PC) tak na platformě ARM. To zmanená na řadě zařízení menších rozměrů s možností integrace do fyzického zařízení. Systém byl vyvíjen zejména pro kompatibitu se systémem NVIDIA Jetson, ale funguje též na platformě Raspberry Pi.

Název v anglickém jazyce

Interface for Multimodal Communication for Robotic Platforms in ROS

Popis výsledku anglicky

The software is an interface implemented in the Robot Operating System (ROS) environment, designed for data processing and executing actions to enable multimodal human-machine communication. Thanks to the use of ROS, the system is implemented in a modular way, allowing for easy expansion with new modules.The current version includes modules for automatic speech recognition (ASR) and text-to-speech (TTS) services, utilizing our Speechcloud library. These services enable natural communication with robotic entities through a voice interface. Depending on the specific application’s needs, they can be further combined with advanced methods and additional modules, such as user intent classification or dialogue management.The system is developed with cross-platform compatibility in mind, allowing it to run on both x86 (classic PC) and ARM platforms. This means it can operate on a variety of smaller devices, making integration into physical hardware possible. The system has been primarily developed for compatibility with NVIDIA Jetson but also functions on the Raspberry Pi platform.This work was created with the support of the project &quot;R&amp;D of Technologies for Advanced Digitization in the Pilsen Metropolitan Area (DigiTech)&quot; No.: CZ.02.01.01/00/23_021/0008436 co-financed by the European Union.

Druh

R - Software

CEP obor

—

OECD FORD obor

20205 - Automation and control systems

Projekt

<a href="/cs/project/EH23_021%2F0008436" target="_blank" >EH23_021/0008436: VaV technologií pro pokročilou digitalizaci v plzeňské metropolitní oblasti (DigiTech)</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

ZCU/KKY/2024/029

Technické parametry

Licence MIT umožňují volné šíření softwaru, používání a modifikaci bez licenčních poplatků, což podporuje jeho široké využití v akademických, výzkumných i nekomerčních projektech. Software je spravován na privátním katedrálním gitea repozitáři. Západočeská univerzita v Plzni, IČ:49777513; Více informací může poskytnout Martin Bulín (Univerzitní 8, Plzeň; 377 632 124; bulinm@kky.zcu.cz).

Ekonomické parametry

Výstup je přenositelný a obecně využitelný pro širokou škálu robotických platforem. Součástí ROS prostředí jsou integrované cloudové řečové technologie a nové moduly připravené na vývoj AI metod. Ekonomické parametry softwaru nelze jednoduše kvantifikovat. Obecnost softwaru ovšem umožňuje velmi široké budoucí využití na robotických platformách a drží tedy velice slibný potenciál také pro budoucí ekonomické využití.

IČO vlastníka výsledku

49777513

Název vlastníka

Západočeská univerzita v Plzni