Contactless monitoring of the absolute position of the limb through the identification of objects in a virtual reality environment

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21460%2F22%3A00365200" target="_blank" >RIV/68407700:21460/22:00365200 - isvavai.cz</a>

Result on the web

<a href="https://ista.tacr.cz/ISTA/action/UserForm_Show@PSProjectReports@1330016304/PSProjectReport_PZ/2/?actionId=hz0kc&ts=1679770912928&hash=+GfK0MdXIAXL93A3NDR0WBpw+7mmTDp0QBmkouCFuO4=&nbl=true&uselastresult=true&_browserSessionID=&lang=cs-CZ" target="_blank" >https://ista.tacr.cz/ISTA/action/UserForm_Show@PSProjectReports@1330016304/PSProjectReport_PZ/2/?actionId=hz0kc&ts=1679770912928&hash=+GfK0MdXIAXL93A3NDR0WBpw+7mmTDp0QBmkouCFuO4=&nbl=true&uselastresult=true&_browserSessionID=&lang=cs-CZ</a>

DOI - Digital Object Identifier

—

Result language

čeština

Original language name

Bezkontaktní sledování absolutní polohy končetiny prostřednictvím identifikace objektů v prostředí virtuální reality

Original language description

Bylo realizováno prototypové softwarové a hardwarové řešení systému pro sledování koncového efektoru (resp. ruky), které demonstruje možnosti sledování absolutní polohy efektoru robota spojeného s distální částí horní končetiny pomocí komerčně dostupných zařízení určených pro sledování (tracking) ovladačů a dalších objektů v prostředí virtuální reality. Byla ověřena aplikovatelnost těchto zařízení pro sledování pohybu ruky při roboticky asistovaných rehabilitačních cvičeních určených pro pacienty s poruchami hybnosti. Vytvořené HW i SW řešení bylo preklinicky otestováno a připraveno ke klinické evaluaci v rámci klinických zkoušek (součást procesu certifikace zdravotnického prostředku).

Czech name

Bezkontaktní sledování absolutní polohy končetiny prostřednictvím identifikace objektů v prostředí virtuální reality

Czech description

Bylo realizováno prototypové softwarové a hardwarové řešení systému pro sledování koncového efektoru (resp. ruky), které demonstruje možnosti sledování absolutní polohy efektoru robota spojeného s distální částí horní končetiny pomocí komerčně dostupných zařízení určených pro sledování (tracking) ovladačů a dalších objektů v prostředí virtuální reality. Byla ověřena aplikovatelnost těchto zařízení pro sledování pohybu ruky při roboticky asistovaných rehabilitačních cvičeních určených pro pacienty s poruchami hybnosti. Vytvořené HW i SW řešení bylo preklinicky otestováno a připraveno ke klinické evaluaci v rámci klinických zkoušek (součást procesu certifikace zdravotnického prostředku).

Type

G_funk - Functional sample

CEP classification

—

OECD FORD branch

20601 - Medical engineering

Project

<a href="/en/project/FW03010025" target="_blank" >FW03010025: Therapeutic rehabilitation robot controlled by brain signals</a><br>

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Publication year

2022

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

Position locator

Numerical identification

Neurorehabilitation robotics position locator

Technical parameters

Systém je založen na softwarové platformě OpenVR. Navržené řešení využívá zařízení Steam VR Base Station a HTC Vive Tracker. Tato zařízení jsou běžně komerčně dostupná a jsou kompatibilní s řadou dalších systémů. Předpokládá se i dopředná kompatibilita s budoucími zařízeními. Z hlediska softwaru je HTC Vive Tracker obecné zařízení („tracker“) umožňující sledování polohy a orientace ve trojrozměrném prostoru. Zařízení, pro které je systém navržen, pracují na principu zpracování a integrace hodnot z akcelerometru, gyroskopu a magnetometru, které jsou integrovány v tzv. innertial measurement unit (IMU). Data z gyroskopu a magnetometru je možné využít pro určení orientace zařízení v prostoru, zatímco data z akcelerometru je možné dvojí integrací převést na údaje o poloze zařízení. Takovéto řešení poskytuje rychlou odezvu, je však silně náchylné k akumulaci integrační chyby. Systém proto kromě IMU pracuje ještě s další sadou optických senzorů, které reagují na impulsy vysílané ze základových stanic (Stream VR Base Station), jejichž vzájemná poloha je automatickým procesem kalibrována. Z dat o zachycených impulsech je možné rekonstruovat absolutní polohu senzorů, která není ovlivněna integrační chybou, je však aktualizována s významně nižší frekvencí než informace z IMU. Systém proto používá absolutní polohu ke korekci dat z IMU a dosahuje tak dobré přesnosti a zároveň dostatečné rychlosti pro účely sledování objektů pro virtuální realitu. Součástí řešení jsou dvě části aplikace. Serverová část aplikace sleduje polohu HTC Vive Tracker a odesílá ji pomocí síťového připojení do klientské aplikace. Ta následně zobrazuje polohu koncového efektoru zařízení v 3D prostoru a poskytuje ji k plnění dalších řídících úkolů robota. Umístění základových stanic systému OpenVR bylo testy stanoveno na cca 36 cm nad horní hranou (ve svislé ose) pracovního prostoru, obě stanice jsou umístěny paralelně s vodorovnou osou z pohledu uživatele, posunuté o cca 23 cm v ose směrem do pracovního prostoru. Stanice jsou od sebe ve vodorovné ose vzdálené cca 112 cm. Toto umístění zajišťuje dobrou viditelnost trackeru, takže nedochází k jeho zakrytí uživatelem stroje. Softwarová část řešení byla rozdělena na dvě části (server, klient) z důvodu umožnění snadné výměny jedné či druhé části (např. zobrazování polohy koncového efektoru přímo v prostředí virtuální reality, či výměnou sledovacího zařízení za přesnější či modernější typ). Navržené řešení zároveň umožňuje obecné softwarové aplikaci realizující rehabilitační cvičení s využitím stroje připojit se ke sledovacímu subsystému a získávat z něj data s využitím jednoduchého a jednoznačného rozhraní. Serverová část je implementována v prostředí jazyka Python, který umožňuje velmi jednoduché a elegantní napojení na systém OpenVR, stejně jako snadnou síťovou komunikaci s klientskou částí aplikace.

Economical parameters

Funkční vzorek je jedním z výchozích modulů uplatněných pro vývoj a zhotovení prototypu neurorehabilitačního robota řízeného elektrickými signály mozku, který bude východiskem pro zavedení výroby robota těchto atributů, který je zamýslšen pro uvedení na trh a do používání ve zdraviotnictví s ekonomickými efekty plánovanými v projektu FW03010025.

Application category by cost

—

Owner IČO

68407700

Owner name

České vysoké učení technické v Praze / Fakulta biomedicínského inženýrství

Owner country

CZ - CZECH REPUBLIC

Usage type

V - Výsledek je využíván vlastníkem

Licence fee requirement

A - Poskytovatel licence na výsledek požaduje licenční poplatek

Web page

https://ista.tacr.cz/ISTA/action/UserForm_Show@PSProjectReports@1330016304/PSProjectReport_PZ/2/?actionId=hz0kc&ts=1679770912928&hash=+GfK0MdXIAXL93A3NDR0WBpw+7mmTDp0QBmkouCFuO4=&nbl=true&uselastresult=true&_browserSessionID=&lang=cs-CZ