Destilace znalostí velkých jazykových modelů pro užití on premise a edge

Poskytovatel

Ministerstvo průmyslu a obchodu

Program

TWIST

Veřejná soutěž

SMPO202600001

Hlavní účastníci

MAMA AI Coolma, s.r.o.

Druh soutěže

VS - Veřejná soutěž

Číslo smlouvy

FY02010032

Název projektu anglicky

Distilling knowledge of large language models for on premise and edge use.

Anotace anglicky

The project is focused on research and development of methods for distilling large language models (LLMs) and their deployment in selected MAMA AI customer domains. The aim is to adapt advanced LLMs for efficient use on local servers (on-prem) and embedded devices (including mobile phones and IoT systems), even without network access, while optimizing energy consumption. The key motivation is to ensure data security and AI models, reduce their energy intensity, use common graphics cards, and increase the computational efficiency of data processing.Key features of distilled models:- Limited number of model parameters compared to the non-distilled model by orders of magnitude. For example, the input LLM has about 75 billion parameters, within the project we will distill safely to units of billions to hundreds of millions and even more under research uncertainty. Larger input models similarly. - Processing with the computational capacity of portable and autonomous devices, powered by batteries (regular laptop/phone, drone, robotic device, on-premise computer).- Processing without network connectivity, suitable for sensitive data.- Guaranteed minimum domain reduction in model accuracy in percentages (within the range of accuracy required by the end-user) compared to the original model. The result is the software “Generalized edge model technology, integrated into a wider domain portfolio”: MAMA AI mSearch (RAG) and mDataChat (an agent solution for handling data) to improve search and information generation, MaMuT (machine translation to increase language accuracy), mVoice (voice synthesis with prosodic elements for more natural interaction), mAI platforms used in AI customer services in automation (insurance event management), compliance (reinsurance contract control) and data security.

Kategorie VaV

VV - Experimentální vývoj

OECD FORD - hlavní obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

OECD FORD - vedlejší obor

20201 - Electrical and electronic engineering

OECD FORD - další vedlejší obor

—

CEP - odpovídající obory <br>(dle <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">převodníku</a>)

AF - Dokumentace, knihovnictví, práce s informacemi<br>BC - Teorie a systémy řízení<br>BD - Teorie informace<br>IN - Informatika<br>JA - Elektronika a optoelektronika, elektrotechnika<br>JB - Senzory, čidla, měření a regulace

Zahájení řešení

1. 9. 2026

Ukončení řešení

31. 8. 2028

Poslední stav řešení

Z - Začínající víceletý projekt

Poslední uvolnění podpory

—

Důvěrnost údajů

C - Předmět řešení projektu podléhá obchodnímu tajemství (§ 504 Občanského zákoníku), ale název projektu, cíle projektu a u ukončeného nebo zastaveného projektu zhodnocení výsledku řešení projektu (údaje P03, P04, P15, P19, P29, PN8) dodané do CEP, jsou upraveny tak, aby byly zveřejnitelné.

Systémové označení dodávky dat

CEP26-MPO-FY-R

Datum dodání záznamu

21. 9. 2026

Celkové uznané náklady

16 958 tis. Kč

Výše podpory ze státního rozpočtu

11 869 tis. Kč

Ostatní veřejné zdroje financování

0 tis. Kč

Neveřejné tuz. a zahr. zdroje finan.

5 087 tis. Kč