An Approach to User-Centered Translation Quality Assessment of Machine Translation Output: the Case of DeepL, Google Translate, and ChatGPT in Czech-to-Spanish Translation Outputs
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F61989592%3A15210%2F24%3A73630771" target="_blank" >RIV/61989592:15210/24:73630771 - isvavai.cz</a>
Výsledek na webu
<a href="https://digilib.phil.muni.cz/sites/default/files/pdf/ERB2024-4-04.pdf" target="_blank" >https://digilib.phil.muni.cz/sites/default/files/pdf/ERB2024-4-04.pdf</a>
DOI - Digital Object Identifier
<a href="http://dx.doi.org/10.5817/ERB2024-4-4" target="_blank" >10.5817/ERB2024-4-4</a>
Alternativní jazyky
Jazyk výsledku
španělština
Název v původním jazyce
Aproximación al análisis de la calidad de la traducción automática desde la perspectiva de la evaluación basada en el usuario : el caso de DeepL, Google Translate y ChatGPT en la combinación checo-español
Popis výsledku v původním jazyce
La generalización del uso de las aplicaciones gratuitas de traducción automática basadas en redes neuronales (NMT) demanda un mayor esfuerzo por parte de la comunidad científica por evaluar su calidad. En este artículo se presenta el estado de la cuestión, así como los resultados de un análisis piloto que trata de sacar a la luz el grado de satisfacción de los potenciales usuarios de estas traducciones en función de tres variables: fluidez, corrección gramatical y usabilidad. Con este fin, se realizó un experimento en el que veinte anotadores nativos de español evaluaron mediante una escala de valoración Likert las traducciones generadas por humanos profesionales y por las aplicaciones DeepL, Google Translate y ChatGPT de tres textos checos de diversa tipología (uno técnico, uno de marketing y uno literario). Los resultados muestran que, a pesar de que las traducciones humanas son las mejores valoradas, existe un elevado grado de satisfacción por parte de los usuarios respecto a las traducciones generadas por los sistemas NMT diseñados específicamente para este fin (DeepL y Google Translate) y, muy especialmente, en términos de fluidez y usabilidad.
Název v anglickém jazyce
An Approach to User-Centered Translation Quality Assessment of Machine Translation Output: the Case of DeepL, Google Translate, and ChatGPT in Czech-to-Spanish Translation Outputs
Popis výsledku anglicky
The widespread use of free Neural Machine Translation (NMT) systems requires a greater effort on the part of the scientific community to evaluate their quality. This article presents the state of the art and the results of a pilot analysis aimed at revealing the level of satisfaction of potential users of these translations in terms of three variables: fluency, grammar, and usability. To this end, an experiment was carried out in which twenty native Spanish annotators evaluated, using a Likert rating scale, the translations generated by human professionals and by the applications DeepL, Google Translate, and ChatGPT of three Czech texts of different types (one technical, one marketing and one literary). The results show that although human translations are the best rated, there is a high degree of user satisfaction with the translations generated by NMT systems specifically designed for this purpose (DeepL and Google Translate), especially in terms of fluency and usability.
Klasifikace
Druh
J<sub>imp</sub> - Článek v periodiku v databázi Web of Science
CEP obor
—
OECD FORD obor
60202 - Specific languages
Návaznosti výsledku
Projekt
—
Návaznosti
S - Specificky vyzkum na vysokych skolach
Ostatní
Rok uplatnění
2024
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Údaje specifické pro druh výsledku
Název periodika
Études romanes de Brno
ISSN
1803-7399
e-ISSN
2336-4416
Svazek periodika
45
Číslo periodika v rámci svazku
4
Stát vydavatele periodika
CZ - Česká republika
Počet stran výsledku
22
Strana od-do
65-86
Kód UT WoS článku
001470200900004
EID výsledku v databázi Scopus
2-s2.0-86000278918