Powerful computer with specialised software (AIVIRO)

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F25531115%3A_____%2F21%3AN0000001" target="_blank" >RIV/25531115:_____/21:N0000001 - isvavai.cz</a>

Result on the web

—

DOI - Digital Object Identifier

—

Result language

čeština

Original language name

Výkonný počítač se specializovaným softwarem (AIVIRO)

Original language description

Výsledek projektu prototyp je charakterizován jako zařízení schopného robotického vizuálního rozpoznání uživatelského rozhraní existujících softwarových programů. Aplikace bude přestavena ve formě terminálové aplikace bez uživatelského rozhraní. Ta s využitím umělé inteligence (deep learning pomocí neuronových sítí) vizuálně rozpozná ovládanou aplikaci a předvede ovládání aplikace, jako člověk podle předem definovaného scénáře.

Czech name

Výkonný počítač se specializovaným softwarem (AIVIRO)

Czech description

—

Type

G_prot - Prototype

CEP classification

—

OECD FORD branch

20204 - Robotics and automatic control

Project

<a href="/en/project/EG19_262%2F0020055" target="_blank" >EG19_262/0020055: Visual control of the user interface using artificial intelligence</a><br>

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Publication year

2021

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

62.01.0

Numerical identification

—

Technical parameters

Výsledkem je prototyp výkonného serveru se dvěma grafickými kartami a serverová aplikace, která dokáže analyzovat snímek obrazovky, ve kterém umí rozpoznávat GUI elementy používané pro ovládání uživatelských aplikací. Aplikace rozpoznává elementy v GUI aplikace a vrací uživateli informace o těchto elementech – pozici a informace, o jaký element se jedná. Základem systému pro vizuální rozpoznávání ovládacích prvků GUI je model neuronové sítě Faster R-CNN, založený na architektuře rekurentních neuronových sítí pro zpracování obrazu. Tento model bere na vstupu snímek obrazovky s daným uživatelským rozhraním, které má být rozpoznáno. Pomocí kaskády konvolučních vrstev je z obrázku získána mapa příznaků, ze které následně model vybere kandidátní oblasti, na kterých by se mohly vyskytovat modelem rozpoznávané elementy. Tyto oblasti z mapy příznaků vystřihne a pomocí sdružovacích metod z nich získá příznaky. Jakmile má potřebný vektor příznaků, provádí jeho klasifikaci a pokud se v dané oblasti nachází námi hledaný element, zařazuje jej do jedné z možných tříd. Model pro klasifikaci ikon je založen na páteřní neuronové sítí založené na architektuře ResNet. Model má řádově desítky skrytých vrstev, které slouží pro extrakci příznaků. Model je trénován pomocí optimalizátoru Adam za využití zpětné propagace chyby.

Economical parameters

Celkové výdaje na projekt představují 14 mil. Kč, z toho částka 6,83 mil. Kč odpovídá výdajům na průmyslový výzkum a 7,15 mil. Kč výdajům na experimentální vývoj. Průmyslový výzkum, který zahrnoval činnosti analýzy a návrhů možných nových a unikátních řešení byl v projektu zastoupen v první etapě z 86 % a v druhé etapě z 17 %. Tyto aktivity byly doplněny aktivitami vývoje, které obsahovaly především využití získaných znalostí v kombinaci s existujícími postupy pro dosažení výsledného prototypu.

Application category by cost

—

Owner IČO

25531115

Owner name

ARTIN, spol. s r.o.

Owner country

CZ - CZECH REPUBLIC

Usage type

V - Výsledek je využíván vlastníkem

Licence fee requirement

A - Poskytovatel licence na výsledek požaduje licenční poplatek

Web page

—