bMyVision v1.0 Application - Prototype 2024
The result's identifiers
Result code in IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F46747885%3A24220%2F24%3A00013344" target="_blank" >RIV/46747885:24220/24:00013344 - isvavai.cz</a>
Result on the web
<a href="https://speechlab.tul.cz/bmyvision/" target="_blank" >https://speechlab.tul.cz/bmyvision/</a>
DOI - Digital Object Identifier
—
Alternative languages
Result language
čeština
Original language name
Aplikace bMyVision v1.0 - prototyp 2024
Original language description
Program bMyVision v1.0 je prototyp mobilního systému, který byl navržen a vytvořen na Technické univerzitě v Liberci v roce 2024 pro nevidomé osoby na mobilních telefonech iPhone od firmy Apple. Program je vytvořen v programovacím jazyku Swift pro operační systém iOS. Mobilní telefony značky iPhone byly vybrány, jelikož převážná většina nevidomých osob, které jsme oslovili, a které nám pomáhají s testováním a vývojem aplikace, používají mobilní telefony iPhone s operačním systémem iOS, na kterém je defaultně vytvořená asistenční podpora pro nevidomé osoby. Princip fungování verze 1.0 je následující: Obraz z prostředí, ve kterém se pohybuje nevidomá osoba, je snímán kamerou mobilního telefonu. V obraze jsou rozpoznávány různé objekty. Výstup z rozpoznávače vstupuje do jazykového modelu, který umožňuje skloňování číslovek a slov (rozpoznaných objektů). Výsledný text poté projde modulem řečové syntézy (TTS) a je poslán na výstup audio zařízení (reproduktor mobilního telefonu). Systém v současné době umožňuje poměrně spolehlivě rozpoznat cca 80 různých objektů. Pro rozpoznávání objektů byl využit poměrně velký model natrénované umělé konvoluční neuronové sítě (CNN). Celý program je vyvíjen jako multilinguální, kde v nastavení systému lze vybrat, zda má systém s nevidomou osobou komunikovat česky nebo anglicky. V budoucnu bude možné přidávat další jazyky.
Czech name
Aplikace bMyVision v1.0 - prototyp 2024
Czech description
Program bMyVision v1.0 je prototyp mobilního systému, který byl navržen a vytvořen na Technické univerzitě v Liberci v roce 2024 pro nevidomé osoby na mobilních telefonech iPhone od firmy Apple. Program je vytvořen v programovacím jazyku Swift pro operační systém iOS. Mobilní telefony značky iPhone byly vybrány, jelikož převážná většina nevidomých osob, které jsme oslovili, a které nám pomáhají s testováním a vývojem aplikace, používají mobilní telefony iPhone s operačním systémem iOS, na kterém je defaultně vytvořená asistenční podpora pro nevidomé osoby. Princip fungování verze 1.0 je následující: Obraz z prostředí, ve kterém se pohybuje nevidomá osoba, je snímán kamerou mobilního telefonu. V obraze jsou rozpoznávány různé objekty. Výstup z rozpoznávače vstupuje do jazykového modelu, který umožňuje skloňování číslovek a slov (rozpoznaných objektů). Výsledný text poté projde modulem řečové syntézy (TTS) a je poslán na výstup audio zařízení (reproduktor mobilního telefonu). Systém v současné době umožňuje poměrně spolehlivě rozpoznat cca 80 různých objektů. Pro rozpoznávání objektů byl využit poměrně velký model natrénované umělé konvoluční neuronové sítě (CNN). Celý program je vyvíjen jako multilinguální, kde v nastavení systému lze vybrat, zda má systém s nevidomou osobou komunikovat česky nebo anglicky. V budoucnu bude možné přidávat další jazyky.
Classification
Type
G<sub>prot</sub> - Prototype
CEP classification
—
OECD FORD branch
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
Result continuities
Project
—
Continuities
O - Projekt operacniho programu
Others
Publication year
2024
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data specific for result type
Internal product ID
GA2024_PROJ_16999
Numerical identification
—
Technical parameters
Princip fungování verze 1.0 je následující: Obraz z prostředí, ve kterém se pohybuje nevidomá osoba, je snímán kamerou mobilního telefonu. V obraze jsou rozpoznávány různé objekty. Výstup z rozpoznávače vstupuje do jazykového modelu, který umožňuje skloňování číslovek a slov (rozpoznaných objektů). Výsledný text poté projde modulem řečové syntézy (TTS) a je poslán na výstup audio zařízení (reproduktor mobilního telefonu). Systém v současné době umožňuje poměrně spolehlivě rozpoznat cca 80 různých objektů. Pro rozpoznávání objektů byl využit poměrně velký model natrénované umělé konvoluční neuronové sítě (CNN). Celý program je vyvíjen jako multilinguální, kde v nastavení systému lze vybrat, zda má systém s nevidomou osobou komunikovat česky nebo anglicky. V budoucnu bude možné přidávat další jazyky. Kontaktní osoba Josef Chaloupka (josef.chaloupka@tul.cz)..
Economical parameters
Program je vyvíjen pro nevidomé osoby. Výsledek tak nemá ekonomické parametry, které by se daly snadno vyčíslit, ale má velkou společenskou relevanci pomoci zrakově postiženým osobám..
Application category by cost
—
Owner IČO
46747885
Owner name
Technická univerzita v Liberci
Owner country
CZ - CZECH REPUBLIC
Usage type
N - Využití výsledku jiným subjektem je možné bez nabytí licence (výsledek není licencován)
Licence fee requirement
N - Poskytovatel licence na výsledek nepožaduje licenční poplatek
Web page
https://speechlab.tul.cz/bmyvision/