All

What are you looking for?

All
Projects
Results
Organizations

Quick search

  • Projects supported by TA ČR
  • Excellent projects
  • Projects with the highest public support
  • Current projects

Smart search

  • That is how I find a specific +word
  • That is how I leave the -word out of the results
  • “That is how I can find the whole phrase”

Distilling knowledge of large language models for on premise and edge use.

Public support

  • Provider

    Ministry of Industry and Trade

  • Programme

    —

  • Call for proposals

    SMPO202600001

  • Main participants

    MAMA AI Coolma, s.r.o.

  • Contest type

    VS - Public tender

  • Contract ID

    FY02010032

Alternative language

  • Project name in Czech

    Destilace znalostí velkých jazykových modelů pro užití on premise a edge

  • Annotation in Czech

    Projekt je zaměřen na výzkum a vývoj metod destilace velkých jazykových modelů (LLMs) a jejich produkční nasazení ve vybraných zákaznických doménách MAMA AI. Cílem je adaptovat pokročilé LLMs pro efektivní využití na lokálních serverech (on-prem), embedded zařízeních včetně mobilních telefonů a IoT systémech bez přístupu k síti a s optimalizací spotřeby energie. Klíčovou motivací je zajištění bezpečnosti dat a AI modelů, snížení jejich energetické náročnosti, využití běžných grafických karet a zvýšení výpočetní efektivity zpracování dat. Bude připravena sada finetunovaných malých LLMs, připravených k integraci do podnikových řešení s důrazem na inovativní přístupy a praktickou aplikovatelnost. Klíčové vlastnosti destilovaných modelů: - Omezený počet parametrů modelu oproti nedestilovanému modelu a to řádově. Například vstupní LLM má cca 75 miliard parametrů, v rámci projektu budeme distilovat bezpečně na na jednotky miliard až stovky milionů a v rámci výzkumné nejistoty i více. Větší vstupní modely obdobně. - Zpracování s výpočetní kapacitou přenosných a autonomních zařízení, napájených z baterie (běžný laptop/telefon, dron, robotické zařízení, on premise počítač). - Zpracování bez síťové konektivity, vhodné pro citlivá data. - Zaručené minimální doménové snížení přesnosti modelu v řádu jednotek procent, (v rozsahu požadované přesnosti koncovým uživatelem) oproti původnímu modelu. Výsledkem je software “Zobecněná technologie edge modelu, integrovaná do širšího doménového portfolia”: MAMA AI mSearch (RAG) a mDataChat (agentní řešení pro práci s daty) pro vylepšení vyhledávání a generování informací, MaMuT (strojový překlad pro zvýšení jazykové přesnosti), mVoice (syntéza hlasu s prozodickými prvky pro přirozenější interakci), mAI platformy používané při AI službách zákazníků v oblasti automatizace (likvidace událostí pojištění), compliance (kontrola zajišťovacích smluv) a zabezpečení dat.

Scientific branches

  • R&D category

    VV - Exeperimental development

  • OECD FORD - main branch

    10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

  • OECD FORD - secondary branch

    20201 - Electrical and electronic engineering

  • OECD FORD - another secondary branch

    —

  • CEP - equivalent branches <br>(according to the <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">converter</a>)

    AF - Documentation, librarianship, work with information<br>BC - Theory and management systems<br>BD - Information theory<br>IN - Informatics<br>JA - Electronics and optoelectronics<br>JB - Sensors, detecting elements, measurement and regulation

Solution timeline

  • Realization period - beginning

    Sep 1, 2026

  • Realization period - end

    Aug 31, 2028

  • Project status

    Z - Beginning multi-year project

  • Latest support payment

    —

Data delivery to CEP

  • Confidentiality

    C - Předmět řešení projektu podléhá obchodnímu tajemství (§ 504 Občanského zákoníku), ale název projektu, cíle projektu a u ukončeného nebo zastaveného projektu zhodnocení výsledku řešení projektu (údaje P03, P04, P15, P19, P29, PN8) dodané do CEP, jsou upraveny tak, aby byly zveřejnitelné.

  • Data delivery code

    CEP26-MPO-FY-R

  • Data delivery date

    Sep 21, 2026

Finance

  • Total approved costs

    16,958 thou. CZK

  • Public financial support

    11,869 thou. CZK

  • Other public sources

    0 thou. CZK

  • Non public and foreign sources

    5,087 thou. CZK