DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216305%3A26230%2F26%3A0199643" target="_blank" >RIV/00216305:26230/26:0199643 - isvavai.cz</a>

Result on the web

<a href="https://github.com/BUTSpeechFIT/TS-ASR-Whisper" target="_blank" >https://github.com/BUTSpeechFIT/TS-ASR-Whisper</a>

DOI - Digital Object Identifier

—

Result language

angličtina

Original language name

DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition

Original language description

DiCoW (Diarization-Conditioned Whisper) is a Target Speaker Automatic Speech Recognition (TS-ASR) system that integrates speaker diarization cues into OpenAI's Whisper model. By conditioning on speaker identity, DiCoW enables highly accurate transcription of a target speaker's speech in complex, multi-speaker environments. At the time of publication, DiCoW achieves state-of-the-art performance on the Libri2Mix and AMI benchmarks. The system was recognized with the Jury Award at CHiME-8 Task 2 – NOTSOFAR challenge and secured Best Reproducibility Award in the Challenge and Workshop on Multilingual Conversational Speech Language Model (MLC-SLM).

Czech name

—

Czech description

—

Type

R - Software

CEP classification

—

OECD FORD branch

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Project

<a href="/en/project/EH23_020%2F0008518" target="_blank" >EH23_020/0008518: Linguistics, Artificial Intelligence and Language and Speech Technologies: from Research to Applications</a><br>

Continuities

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Publication year

2024

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Internal product ID

DiCoW - TS-ASR-Whisper

Technical parameters

Metoda zavádí transformace závislé na diarizaci na úrovni rámců (FDDT) a techniky zkreslení klíčových dotazů (QKb), aby se zpřesnilo zaměření modelu na cílové mluvčí a zároveň se efektivně zpracovávala překrývající se řeč. Využitím výstupů diarizace jako podmíněných signálů DiCoW zjednodušuje pracovní postup pro ASR s více mluvčími, zlepšuje generalizaci na neznámé mluvčí a umožňuje spolehlivější přepis v reálných nahrávkách s více mluvčími.

Economical parameters

Využitím výstupů diarizace jako podmíněných signálů DiCoW zjednodušuje pracovní postup pro ASR s více mluvčími, zlepšuje generalizaci na neznámé mluvčí a umožňuje spolehlivější přepis v reálných nahrávkách s více mluvčími.

Owner IČO

00216305

Owner name

Vysoké učení technické v Brně