Languages Through the Looking Glass of BPE Compression

Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F23%3ANIA5XQEB" target="_blank" >RIV/00216208:11320/23:NIA5XQEB - isvavai.cz</a>
Výsledek na webu
<a href="https://direct.mit.edu/coli/article/doi/10.1162/coli_a_00489/116635" target="_blank" >https://direct.mit.edu/coli/article/doi/10.1162/coli_a_00489/116635</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.1162/coli_a_00489" target="_blank" >10.1162/coli_a_00489</a>

Jazyk výsledku
angličtina
Název v původním jazyce
Languages Through the Looking Glass of BPE Compression
Popis výsledku v původním jazyce
"Byte-pair encoding (BPE) is widely used in NLP for performing subword tokenization. It uncovers redundantpatterns for compressing the data, and hence alleviates the sparsity problem in downstream applications.Subwords discovered during the first merge operations tend to have the most substantial impact on thecompression of texts."
Název v anglickém jazyce
Languages Through the Looking Glass of BPE Compression
Popis výsledku anglicky
"Byte-pair encoding (BPE) is widely used in NLP for performing subword tokenization. It uncovers redundantpatterns for compressing the data, and hence alleviates the sparsity problem in downstream applications.Subwords discovered during the first merge operations tend to have the most substantial impact on thecompression of texts."

Druh
J<sub>ost</sub> - Ostatní články v recenzovaných periodicích
CEP obor
—
OECD FORD obor
10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Rok uplatnění
2023
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Popis výsledku