Užití testování ekvivalence při hledání důkazů diskriminační validity během vývoje psychodiagnostických metod

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F00216224%3A14210%2F21%3A00121446" target="_blank" >RIV/00216224:14210/21:00121446 - isvavai.cz</a>

Výsledek na webu

—

DOI - Digital Object Identifier

—

Jazyk výsledku

čeština

Název v původním jazyce

Užití testování ekvivalence při hledání důkazů diskriminační validity během vývoje psychodiagnostických metod

Popis výsledku v původním jazyce

Při vývoji psychodiagnostických metod a ověření jejich psychometrických vlastností je jedním z důležitých kritérií adekvátní stanovení diskriminační validity. Ačkoli existují postupy, které umožňují testovat, zdali vyvinutá metoda nesouvisí s metodou, se kterou souviset nemá (např. hetero-trait-hetero-method, HTMT), ne vždy je použití těchto postupů možné. Výzkumníci se proto mnohdy uchylují k interpretaci statisticky nevýznamných či slabých korelačních koeficientů jako důkazu diskriminační validity. V tradičním testování signifikance založeném na zamítání nulových hypotéz jsou však takové interpretace nekorektní, protože statisticky nesignifikantní výsledek může být způsoben mnoha dalšími faktory. Jinými slovy, i tady platí, že absence důkazu nepředstavuje důkaz absence. Cílem tohoto příspěvku je proto představení alternativního postupu – testování ekvivalence, konkrétně metody dvou jednostranných testů (TOST), která umožňuje získávat důkazy pro podporu nulových hypotéz, a tudíž i argumenty pro diskriminační validitu. Součástí příspěvku je také přestavení klíčového procesu metody TOST – stanovení rozsahu hodnot zájmu výzkumníka, jenž lze považovat za prakticky nesignifikantní. Výpočet TOST bude demonstrován v R v balíčku TOSTER a v programu jamovi.

Název v anglickém jazyce

The use of equivalence testing in the search for evidence of discriminant validity during the development of psychodiagnostic methods

Popis výsledku anglicky

When developing psychodiagnostic methods and validating their psychometric properties, one of the important criteria is the adequate determination of discriminant validity. Although there are procedures that allow testing if a developed method is unrelated to other methods (e.g., hetero-trait-hetero-method, HTMT), it is not always possible to use these procedures. Therefore, researchers often resort to interpreting statistically insignificant or weak correlation coefficients as evidence of discriminant validity. However, in traditional null-hypothesis significance testing, such interpretations are incorrect because a statistically nonsignificant result may be due to many other factors. In other words, here too, the absence of evidence does not constitute evidence of absence. Therefore, the aim of this paper is to present an alternative procedure, equivalence testing, namely the two one-sided t-tests (TOST), which allows one to obtain evidence to support the null hypotheses and thus arguments for discriminant validity. The paper also includes a crucial aspect of TOST - determining the range of smallest effect size of interest (SESOI) that can be considered practically nonsignificant. The calculation of TOST will be demonstrated in R in the TOSTER package and in the software jamovi.

Druh

O - Ostatní výsledky

CEP obor

—

OECD FORD obor

50101 - Psychology (including human - machine relations)

Projekt

—

Návaznosti

S - Specificky vyzkum na vysokych skolach

Rok uplatnění

2021

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů