Distilling knowledge of large language models for on premise and edge use.
Public support
Provider
Ministry of Industry and Trade
Programme
—
Call for proposals
SMPO202600001
Main participants
MAMA AI Coolma, s.r.o.
Contest type
VS - Public tender
Contract ID
FY02010032
Alternative language
Project name in Czech
Destilace znalostí velkých jazykových modelů pro užití on premise a edge
Annotation in Czech
Projekt je zaměřen na výzkum a vývoj metod destilace velkých jazykových modelů (LLMs) a jejich produkční nasazení ve vybraných zákaznických doménách MAMA AI. Cílem je adaptovat pokročilé LLMs pro efektivní využití na lokálních serverech (on-prem), embedded zařízeních včetně mobilních telefonů a IoT systémech bez přístupu k síti a s optimalizací spotřeby energie. Klíčovou motivací je zajištění bezpečnosti dat a AI modelů, snížení jejich energetické náročnosti, využití běžných grafických karet a zvýšení výpočetní efektivity zpracování dat. Bude připravena sada finetunovaných malých LLMs, připravených k integraci do podnikových řešení s důrazem na inovativní přístupy a praktickou aplikovatelnost. Klíčové vlastnosti destilovaných modelů: - Omezený počet parametrů modelu oproti nedestilovanému modelu a to řádově. Například vstupní LLM má cca 75 miliard parametrů, v rámci projektu budeme distilovat bezpečně na na jednotky miliard až stovky milionů a v rámci výzkumné nejistoty i více. Větší vstupní modely obdobně. - Zpracování s výpočetní kapacitou přenosných a autonomních zařízení, napájených z baterie (běžný laptop/telefon, dron, robotické zařízení, on premise počítač). - Zpracování bez síťové konektivity, vhodné pro citlivá data. - Zaručené minimální doménové snížení přesnosti modelu v řádu jednotek procent, (v rozsahu požadované přesnosti koncovým uživatelem) oproti původnímu modelu. Výsledkem je software “Zobecněná technologie edge modelu, integrovaná do širšího doménového portfolia”: MAMA AI mSearch (RAG) a mDataChat (agentní řešení pro práci s daty) pro vylepšení vyhledávání a generování informací, MaMuT (strojový překlad pro zvýšení jazykové přesnosti), mVoice (syntéza hlasu s prozodickými prvky pro přirozenější interakci), mAI platformy používané při AI službách zákazníků v oblasti automatizace (likvidace událostí pojištění), compliance (kontrola zajišťovacích smluv) a zabezpečení dat.
Scientific branches
R&D category
VV - Exeperimental development
OECD FORD - main branch
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)
OECD FORD - secondary branch
20201 - Electrical and electronic engineering
OECD FORD - another secondary branch
—
CEP - equivalent branches <br>(according to the <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">converter</a>)
AF - Documentation, librarianship, work with information<br>BC - Theory and management systems<br>BD - Information theory<br>IN - Informatics<br>JA - Electronics and optoelectronics<br>JB - Sensors, detecting elements, measurement and regulation
Solution timeline
Realization period - beginning
Sep 1, 2026
Realization period - end
Aug 31, 2028
Project status
Z - Beginning multi-year project
Latest support payment
—
Data delivery to CEP
Confidentiality
C - Předmět řešení projektu podléhá obchodnímu tajemství (§ 504 Občanského zákoníku), ale název projektu, cíle projektu a u ukončeného nebo zastaveného projektu zhodnocení výsledku řešení projektu (údaje P03, P04, P15, P19, P29, PN8) dodané do CEP, jsou upraveny tak, aby byly zveřejnitelné.
Data delivery code
CEP26-MPO-FY-R
Data delivery date
Sep 21, 2026
Finance
Total approved costs
16,958 thou. CZK
Public financial support
11,869 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
5,087 thou. CZK