Aplikace bMyVision v1.0 - prototyp 2024

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F46747885%3A24220%2F24%3A00013344" target="_blank" >RIV/46747885:24220/24:00013344 - isvavai.cz</a>

Výsledek na webu

<a href="https://speechlab.tul.cz/bmyvision/" target="_blank" >https://speechlab.tul.cz/bmyvision/</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

čeština

Název v původním jazyce

Aplikace bMyVision v1.0 - prototyp 2024

Popis výsledku v původním jazyce

Program bMyVision v1.0 je prototyp mobilního systému, který byl navržen a vytvořen na Technické univerzitě v Liberci v roce 2024 pro nevidomé osoby na mobilních telefonech iPhone od firmy Apple. Program je vytvořen v programovacím jazyku Swift pro operační systém iOS. Mobilní telefony značky iPhone byly vybrány, jelikož převážná většina nevidomých osob, které jsme oslovili, a které nám pomáhají s testováním a vývojem aplikace, používají mobilní telefony iPhone s operačním systémem iOS, na kterém je defaultně vytvořená asistenční podpora pro nevidomé osoby. Princip fungování verze 1.0 je následující: Obraz z prostředí, ve kterém se pohybuje nevidomá osoba, je snímán kamerou mobilního telefonu. V obraze jsou rozpoznávány různé objekty. Výstup z rozpoznávače vstupuje do jazykového modelu, který umožňuje skloňování číslovek a slov (rozpoznaných objektů). Výsledný text poté projde modulem řečové syntézy (TTS) a je poslán na výstup audio zařízení (reproduktor mobilního telefonu). Systém v současné době umožňuje poměrně spolehlivě rozpoznat cca 80 různých objektů. Pro rozpoznávání objektů byl využit poměrně velký model natrénované umělé konvoluční neuronové sítě (CNN). Celý program je vyvíjen jako multilinguální, kde v nastavení systému lze vybrat, zda má systém s nevidomou osobou komunikovat česky nebo anglicky. V budoucnu bude možné přidávat další jazyky.

Název v anglickém jazyce

bMyVision v1.0 Application - Prototype 2024

Popis výsledku anglicky

The bMyVision v1.0 program is a prototype of a mobile system that was designed and created at the Technical University of Liberec in 2024 for blind people on Apple iPhone mobile phones. The program is developed in the Swift programming language for the iOS operating system. iPhone mobile phones were chosen because the vast majority of blind people we contacted, who help us with testing and developing the application, use iPhone mobile phones with the iOS operating system, which has built-in assistive support for blind people by default. The principle of operation of version 1.0 is as follows: The image of the environment in which the blind person moves is captured by the mobile phone‘s camera. Various objects are recognized in the image. The output from the recognizer enters the language model, which allows for the declension of numerals and words (recognized objects). The resulting text then passes through the text-to-speech (TTS) synthesis module and is sent to the audio output device (mobile phone speaker). The system is currently capable of reliably recognizing approximately 80 different objects. A relatively large model of a trained artificial convolutional neural network (CNN) was used for object recognition. The entire program is being developed as multilingual, where in the system settings, it is possible to select whether the system should communicate with the blind person in Czech or English. In the future, additional languages will be possible to add.

Druh

G_prot - Prototyp

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

—

Návaznosti

O - Projekt operacniho programu

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

GA2024_PROJ_16999

Číselná identifikace

—

Technické parametry

Princip fungování verze 1.0 je následující: Obraz z prostředí, ve kterém se pohybuje nevidomá osoba, je snímán kamerou mobilního telefonu. V obraze jsou rozpoznávány různé objekty. Výstup z rozpoznávače vstupuje do jazykového modelu, který umožňuje skloňování číslovek a slov (rozpoznaných objektů). Výsledný text poté projde modulem řečové syntézy (TTS) a je poslán na výstup audio zařízení (reproduktor mobilního telefonu). Systém v současné době umožňuje poměrně spolehlivě rozpoznat cca 80 různých objektů. Pro rozpoznávání objektů byl využit poměrně velký model natrénované umělé konvoluční neuronové sítě (CNN). Celý program je vyvíjen jako multilinguální, kde v nastavení systému lze vybrat, zda má systém s nevidomou osobou komunikovat česky nebo anglicky. V budoucnu bude možné přidávat další jazyky. Kontaktní osoba Josef Chaloupka (josef.chaloupka@tul.cz)..

Ekonomické parametry

Program je vyvíjen pro nevidomé osoby. Výsledek tak nemá ekonomické parametry, které by se daly snadno vyčíslit, ale má velkou společenskou relevanci pomoci zrakově postiženým osobám..

Kategorie aplik. výsledku dle nákladů

—

IČO vlastníka výsledku

46747885

Název vlastníka

Technická univerzita v Liberci

Stát vlastníka

CZ - Česká republika

Druh možnosti využití

N - Využití výsledku jiným subjektem je možné bez nabytí licence (výsledek není licencován)

Požadavek na licenční poplatek

N - Poskytovatel licence na výsledek nepožaduje licenční poplatek

Adresa www stránky s výsledkem

https://speechlab.tul.cz/bmyvision/