Maximum likelihood principle and I-divergence
Project goals
The proposed project deals with generalization and application of a very interesting relation between maximum likelihood estimates and the Kullback-Leibler I-divergence, which holds in the case of mutually independent Gaussian random variables. This relation can be used in studying statistical tests based on the maximum likelihood principle, mainly by investigating errors of the 1-st and 2-nd kinds. One can expect a very close relation to the famous Stein theorem about the asymptotic behaviour of secondkind errors. The generalization will be carried out toward dependent observations, multidimensional observations and nongaussian random variables. Another possibility of generalization will be given toward Gaussian random processes with both a discrete and a continuous time. One can also expect a very close connection with the famous Shannon-McMillan theorem about the asmptotic behaviour of the likelihood ratio and with the Akaike criterion, which was derived from the maximum likelihood principle, too.
Keywords
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
—
Main participants
Ústav teorie informace a automatizace AV ČR, v. v. i.
Contest type
—
Contract ID
—
Alternative language
Project name in Czech
Princip maximální věrohodnosti a I-divergence
Annotation in Czech
Navrhovaný projekt se zabývá zobecněním a využitím jednoho zajímavého vztahu mezi maximálně věrohodnými odhady a Kullback-Leiblerovou I-divergencí, který platí v případě gaussovských stejně rozdělených nezávislých náhodných veličin. Daný vztah lze využítpředevším při studiu testů založených na principu maximální věrohodnosti, hlavně při studiu jejich chyb 1. a 2. druhu. Lze očekávat důležitou souvislost se známou Steinovou větou o chování chyb 2. druhu maximálně věrohodného testu. Zobecnění bude provedeno od nezávislých porovnání k závislým, od gaussovských k negaussovským (hlavně exponenciálního typu) a od diskrétního času ke spojitému v případě náhodných procesů. Je též očekávána blízká souvislost tohoto vztahu se známou Shannon-McMillanovou větou popisující chování logaritmu věrohodnostního poměru a s Akaikeovým kritériem pro nalezení vhodné délky autoregresního modelu, které je též odvozeno od maximálně věrohodného principu.
Scientific branches
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
Byly objasněny vztahy mezi věrohodnostním poměrem, I-divergencí, Vajdovou globální informací a Fisherovou mírou informace. Zajímavým pojítkem mezi všemi těmito charakteristikami se ukázala Réuviho vzdálenost. Objasněné vztahy umožňují konstrukci nových t
Solution timeline
Realization period - beginning
Jan 1, 1996
Realization period - end
Jan 1, 1998
Project status
U - Finished project
Latest support payment
—
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP/1999/GA0/GA09GA/V/6:6
Data delivery date
—
Finance
Total approved costs
680 thou. CZK
Public financial support
320 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
680 CZK thou.
Public support
320 CZK thou.
47%
Provider
Czech Science Foundation
CEP
BA - General mathematics
Solution period
01. 01. 1996 - 01. 01. 1998