Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216208%3A11320%2F24%3A10492888" target="_blank" >RIV/00216208:11320/24:10492888 - isvavai.cz</a>

Výsledek na webu

<a href="https://aclanthology.org/2024.lrec-main.605.pdf" target="_blank" >https://aclanthology.org/2024.lrec-main.605.pdf</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test

Popis výsledku v původním jazyce

Analýza nezávislých komponent (ICA) je algoritmus původně vyvinutý pro vyhledávání oddělených zdrojů ve smíšeném signálu, například v nahrávce více osob mluvících ve stejnou dobu ve stejné místnosti. Na rozdíl od analýzy hlavních komponent (PCA) umožňuje ICA reprezentovat slovo jako nestrukturovanou sadu rysů, aniž by byl některý konkrétní rys považován za významnější než ostatní. V tomto článku jsme použili ICA k analýze slovních vložek. Zjistili jsme, že ICA lze použít k nalezení sémantických rysů slov a tyto rysy lze snadno kombinovat a hledat slova, která kombinaci vyhovují. Ukázali jsme, že většina nezávislých komponent představuje takové rysy. Ke kvantifikaci interpretovatelnosti komponent používáme test narušitelů slov, který provádějí jak lidé, tak velké jazykové modely. Navrhujeme použít automatizovanou verzi testu narušitele slov jako rychlý a levný způsob kvantifikace interpretovatelnosti vektorů bez nutnosti lidské práce.

Název v anglickém jazyce

Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test

Popis výsledku anglicky

Analýza nezávislých komponent (ICA) je algoritmus původně vyvinutý pro vyhledávání oddělených zdrojů ve smíšeném signálu, například v nahrávce více osob mluvících ve stejnou dobu ve stejné místnosti. Na rozdíl od analýzy hlavních komponent (PCA) umožňuje ICA reprezentovat slovo jako nestrukturovanou sadu rysů, aniž by byl některý konkrétní rys považován za významnější než ostatní. V tomto článku jsme použili ICA k analýze slovních vložek. Zjistili jsme, že ICA lze použít k nalezení sémantických rysů slov a tyto rysy lze snadno kombinovat a hledat slova, která kombinaci vyhovují. Ukázali jsme, že většina nezávislých komponent představuje takové rysy. Ke kvantifikaci interpretovatelnosti komponent používáme test narušitelů slov, který provádějí jak lidé, tak velké jazykové modely. Navrhujeme použít automatizovanou verzi testu narušitele slov jako rychlý a levný způsob kvantifikace interpretovatelnosti vektorů bez nutnosti lidské práce.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/GA23-06912S" target="_blank" >GA23-06912S: Identifikace a prevence nechtěné genderové zaujatosti v neuronových jazykových modelech</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)

ISBN

978-2-493-81410-4

ISSN

2522-2686

e-ISSN

—

Počet stran výsledku

7

Strana od-do

6922-6928

Název nakladatele

European Language Resources Association

Místo vydání

Torino, Italy

Místo konání akce

Torino, Italy

Datum konání akce

22. 5. 2024

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—