DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216305%3A26230%2F26%3A0199643" target="_blank" >RIV/00216305:26230/26:0199643 - isvavai.cz</a>

Výsledek na webu

<a href="https://github.com/BUTSpeechFIT/TS-ASR-Whisper" target="_blank" >https://github.com/BUTSpeechFIT/TS-ASR-Whisper</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition

Popis výsledku v původním jazyce

DiCoW (Diarization-Conditioned Whisper) is a Target Speaker Automatic Speech Recognition (TS-ASR) system that integrates speaker diarization cues into OpenAI's Whisper model. By conditioning on speaker identity, DiCoW enables highly accurate transcription of a target speaker's speech in complex, multi-speaker environments. At the time of publication, DiCoW achieves state-of-the-art performance on the Libri2Mix and AMI benchmarks. The system was recognized with the Jury Award at CHiME-8 Task 2 – NOTSOFAR challenge and secured Best Reproducibility Award in the Challenge and Workshop on Multilingual Conversational Speech Language Model (MLC-SLM).

Název v anglickém jazyce

DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition

Popis výsledku anglicky

DiCoW (Diarization-Conditioned Whisper) is a Target Speaker Automatic Speech Recognition (TS-ASR) system that integrates speaker diarization cues into OpenAI's Whisper model. By conditioning on speaker identity, DiCoW enables highly accurate transcription of a target speaker's speech in complex, multi-speaker environments. At the time of publication, DiCoW achieves state-of-the-art performance on the Libri2Mix and AMI benchmarks. The system was recognized with the Jury Award at CHiME-8 Task 2 – NOTSOFAR challenge and secured Best Reproducibility Award in the Challenge and Workshop on Multilingual Conversational Speech Language Model (MLC-SLM).

Druh

R - Software

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

<a href="/cs/project/EH23_020%2F0008518" target="_blank" >EH23_020/0008518: Jazykověda, umělá inteligence a jazykové a řečové technologie: od výzkumu k aplikacím</a><br>

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Interní identifikační kód produktu

DiCoW - TS-ASR-Whisper

Technické parametry

Metoda zavádí transformace závislé na diarizaci na úrovni rámců (FDDT) a techniky zkreslení klíčových dotazů (QKb), aby se zpřesnilo zaměření modelu na cílové mluvčí a zároveň se efektivně zpracovávala překrývající se řeč. Využitím výstupů diarizace jako podmíněných signálů DiCoW zjednodušuje pracovní postup pro ASR s více mluvčími, zlepšuje generalizaci na neznámé mluvčí a umožňuje spolehlivější přepis v reálných nahrávkách s více mluvčími.

Ekonomické parametry

Využitím výstupů diarizace jako podmíněných signálů DiCoW zjednodušuje pracovní postup pro ASR s více mluvčími, zlepšuje generalizaci na neznámé mluvčí a umožňuje spolehlivější přepis v reálných nahrávkách s více mluvčími.

IČO vlastníka výsledku

00216305

Název vlastníka

Vysoké učení technické v Brně