The use of equivalence testing in the search for evidence of discriminant validity during the development of psychodiagnostic methods

Result code in IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14210%2F21%3A00121446" target="_blank" >RIV/00216224:14210/21:00121446 - isvavai.cz</a>

Result on the web

—

DOI - Digital Object Identifier

—

Result language

čeština

Original language name

Užití testování ekvivalence při hledání důkazů diskriminační validity během vývoje psychodiagnostických metod

Original language description

Při vývoji psychodiagnostických metod a ověření jejich psychometrických vlastností je jedním z důležitých kritérií adekvátní stanovení diskriminační validity. Ačkoli existují postupy, které umožňují testovat, zdali vyvinutá metoda nesouvisí s metodou, se kterou souviset nemá (např. hetero-trait-hetero-method, HTMT), ne vždy je použití těchto postupů možné. Výzkumníci se proto mnohdy uchylují k interpretaci statisticky nevýznamných či slabých korelačních koeficientů jako důkazu diskriminační validity. V tradičním testování signifikance založeném na zamítání nulových hypotéz jsou však takové interpretace nekorektní, protože statisticky nesignifikantní výsledek může být způsoben mnoha dalšími faktory. Jinými slovy, i tady platí, že absence důkazu nepředstavuje důkaz absence. Cílem tohoto příspěvku je proto představení alternativního postupu – testování ekvivalence, konkrétně metody dvou jednostranných testů (TOST), která umožňuje získávat důkazy pro podporu nulových hypotéz, a tudíž i argumenty pro diskriminační validitu. Součástí příspěvku je také přestavení klíčového procesu metody TOST – stanovení rozsahu hodnot zájmu výzkumníka, jenž lze považovat za prakticky nesignifikantní. Výpočet TOST bude demonstrován v R v balíčku TOSTER a v programu jamovi.

Czech name

Užití testování ekvivalence při hledání důkazů diskriminační validity během vývoje psychodiagnostických metod

Czech description

Při vývoji psychodiagnostických metod a ověření jejich psychometrických vlastností je jedním z důležitých kritérií adekvátní stanovení diskriminační validity. Ačkoli existují postupy, které umožňují testovat, zdali vyvinutá metoda nesouvisí s metodou, se kterou souviset nemá (např. hetero-trait-hetero-method, HTMT), ne vždy je použití těchto postupů možné. Výzkumníci se proto mnohdy uchylují k interpretaci statisticky nevýznamných či slabých korelačních koeficientů jako důkazu diskriminační validity. V tradičním testování signifikance založeném na zamítání nulových hypotéz jsou však takové interpretace nekorektní, protože statisticky nesignifikantní výsledek může být způsoben mnoha dalšími faktory. Jinými slovy, i tady platí, že absence důkazu nepředstavuje důkaz absence. Cílem tohoto příspěvku je proto představení alternativního postupu – testování ekvivalence, konkrétně metody dvou jednostranných testů (TOST), která umožňuje získávat důkazy pro podporu nulových hypotéz, a tudíž i argumenty pro diskriminační validitu. Součástí příspěvku je také přestavení klíčového procesu metody TOST – stanovení rozsahu hodnot zájmu výzkumníka, jenž lze považovat za prakticky nesignifikantní. Výpočet TOST bude demonstrován v R v balíčku TOSTER a v programu jamovi.

Type

O - Miscellaneous

CEP classification

—

OECD FORD branch

50101 - Psychology (including human - machine relations)

Project

—

Continuities

S - Specificky vyzkum na vysokych skolach

Publication year

2021

Confidentiality

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů