Domain-Specific Improvement on Psychotherapy Chatbot Using Assistant

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F68407700%3A21230%2F24%3A00377571" target="_blank" >RIV/68407700:21230/24:00377571 - isvavai.cz</a>

Nalezeny alternativní kódy

RIV/68407700:21730/24:00377571

Výsledek na webu

<a href="https://ieeexplore.ieee.org/document/10626529" target="_blank" >https://ieeexplore.ieee.org/document/10626529</a>

DOI - Digital Object Identifier

—

Jazyk výsledku

angličtina

Název v původním jazyce

Domain-Specific Improvement on Psychotherapy Chatbot Using Assistant

Popis výsledku v původním jazyce

Large language models (LLMs) have demonstrated impressive generalization capabilities on specific tasks with human-written instruction data. However, the limited quantity, diversity, and professional expertise of such instruction data raise concerns about the performance of LLMs in psychotherapy tasks when provided with domain-specific instructions. To address this, we firstly propose Domain-Specific Assistant Instructions based on AlexanderStreet therapy, and secondly we use an adaption fine-tuning method and retrieval augmented generation method to improve pre-trained LLMs. Through quantitative evaluation of linguistic quality using automatic and human evaluation, we observe that pre-trained LLMs on Psychotherapy Assistant Instructions outperform state-of-the-art LLMs response baselines. Our Assistant-Instruction approach offers a half-annotation method to align pre-trained LLMs with instructions, and provide pre-trained LLMs more psychotherapy knowledge.

Název v anglickém jazyce

Domain-Specific Improvement on Psychotherapy Chatbot Using Assistant

Popis výsledku anglicky

Large language models (LLMs) have demonstrated impressive generalization capabilities on specific tasks with human-written instruction data. However, the limited quantity, diversity, and professional expertise of such instruction data raise concerns about the performance of LLMs in psychotherapy tasks when provided with domain-specific instructions. To address this, we firstly propose Domain-Specific Assistant Instructions based on AlexanderStreet therapy, and secondly we use an adaption fine-tuning method and retrieval augmented generation method to improve pre-trained LLMs. Through quantitative evaluation of linguistic quality using automatic and human evaluation, we observe that pre-trained LLMs on Psychotherapy Assistant Instructions outperform state-of-the-art LLMs response baselines. Our Assistant-Instruction approach offers a half-annotation method to align pre-trained LLMs with instructions, and provide pre-trained LLMs more psychotherapy knowledge.

Druh

W - Uspořádání workshopu

CEP obor

—

OECD FORD obor

10201 - Computer sciences, information science, bioinformathics (hardware development to be 2.2, social aspect to be 5.8)

Projekt

Výsledek vznikl pri realizaci vícero projektů. Více informací v záložce Projekty.

Návaznosti

P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)<br>S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2024

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Místo konání akce

Seoul

Stát konání akce

KR - Korejská republika

Datum zahájení akce

—

Datum ukončení akce

—

Celkový počet účastníků

4400

Počet zahraničních účastníků

—

Typ akce podle státní přísl. účastníků

CST - Celostátní akce