Výkonný počítač se specializovaným softwarem (AIVIRO)

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F25531115%3A_____%2F21%3AN0000001" target="_blank" >RIV/25531115:_____/21:N0000001 - isvavai.cz</a>

Výsledek na webu

—

DOI - Digital Object Identifier

—

Jazyk výsledku

čeština

Název v původním jazyce

Výkonný počítač se specializovaným softwarem (AIVIRO)

Popis výsledku v původním jazyce

Výsledek projektu prototyp je charakterizován jako zařízení schopného robotického vizuálního rozpoznání uživatelského rozhraní existujících softwarových programů. Aplikace bude přestavena ve formě terminálové aplikace bez uživatelského rozhraní. Ta s využitím umělé inteligence (deep learning pomocí neuronových sítí) vizuálně rozpozná ovládanou aplikaci a předvede ovládání aplikace, jako člověk podle předem definovaného scénáře.

Název v anglickém jazyce

Powerful computer with specialised software (AIVIRO)

Popis výsledku anglicky

The result of the prototype project is characterized as a device capable of robotic visual recognition of the user interface of existing software programs. The application will be rebuilt as a terminal application without a user interface. Using artificial intelligence (deep learning using neural networks), the application will visually recognize the controlled application and demonstrate the control of the application, like a human, according to a predefined scenario.

Druh

G_prot - Prototyp

CEP obor

—

OECD FORD obor

20204 - Robotics and automatic control

Projekt

<a href="/cs/project/EG19_262%2F0020055" target="_blank" >EG19_262/0020055: Vizuální ovládání uživatelského rozhraní pomocí umělé inteligence</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2021

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

62.01.0

Číselná identifikace

—

Technické parametry

Výsledkem je prototyp výkonného serveru se dvěma grafickými kartami a serverová aplikace, která dokáže analyzovat snímek obrazovky, ve kterém umí rozpoznávat GUI elementy používané pro ovládání uživatelských aplikací. Aplikace rozpoznává elementy v GUI aplikace a vrací uživateli informace o těchto elementech – pozici a informace, o jaký element se jedná. Základem systému pro vizuální rozpoznávání ovládacích prvků GUI je model neuronové sítě Faster R-CNN, založený na architektuře rekurentních neuronových sítí pro zpracování obrazu. Tento model bere na vstupu snímek obrazovky s daným uživatelským rozhraním, které má být rozpoznáno. Pomocí kaskády konvolučních vrstev je z obrázku získána mapa příznaků, ze které následně model vybere kandidátní oblasti, na kterých by se mohly vyskytovat modelem rozpoznávané elementy. Tyto oblasti z mapy příznaků vystřihne a pomocí sdružovacích metod z nich získá příznaky. Jakmile má potřebný vektor příznaků, provádí jeho klasifikaci a pokud se v dané oblasti nachází námi hledaný element, zařazuje jej do jedné z možných tříd. Model pro klasifikaci ikon je založen na páteřní neuronové sítí založené na architektuře ResNet. Model má řádově desítky skrytých vrstev, které slouží pro extrakci příznaků. Model je trénován pomocí optimalizátoru Adam za využití zpětné propagace chyby.

Ekonomické parametry

Celkové výdaje na projekt představují 14 mil. Kč, z toho částka 6,83 mil. Kč odpovídá výdajům na průmyslový výzkum a 7,15 mil. Kč výdajům na experimentální vývoj. Průmyslový výzkum, který zahrnoval činnosti analýzy a návrhů možných nových a unikátních řešení byl v projektu zastoupen v první etapě z 86 % a v druhé etapě z 17 %. Tyto aktivity byly doplněny aktivitami vývoje, které obsahovaly především využití získaných znalostí v kombinaci s existujícími postupy pro dosažení výsledného prototypu.

Kategorie aplik. výsledku dle nákladů

—

IČO vlastníka výsledku

25531115

Název vlastníka

ARTIN, spol. s r.o.

Stát vlastníka

CZ - Česká republika

Druh možnosti využití

V - Výsledek je využíván vlastníkem

Požadavek na licenční poplatek

A - Poskytovatel licence na výsledek požaduje licenční poplatek

Adresa www stránky s výsledkem

—