Modified Gram-Schmidt (MGS), Least Squares, and Backward Stability of MGS-GMRES
Result description
The generalized minimum residual method (GMRES) [Y. Saad and M. Schultz,SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856-869] for solving linear systems Ax=b is implemented as a sequence of least squares problems involving Krylov subspaces of increasingdimensions. The most usual implementation is modified Gram-Schmidt GMRES (MGS-GMRES). Here we show that MGS-GMRES is backward stable. The result depends on a more general result on the backward stability of a variant of the MGS algorithm applied to solving a linear least squares problem, and uses other new results on MGS and its loss of orthogonality, together with an important but neglected condition number, and a relation between residual norms and certain singular values.
Keywords
rounding error analysismodified Gram-SchmidtQR factorizationloss of orthogonalityleast squaressingular valuesbackward stabilitylinear equationscondition numberslarge sparse matricesiterative solutionKrylov subspace methodsArnoldimethodgeneralized minimum residual method
The result's identifiers
Result code in IS VaVaI
Alternative codes found
RIV/00216208:11320/06:00002811
Result on the web
—
DOI - Digital Object Identifier
—
Alternative languages
Result language
angličtina
Original language name
Modified Gram-Schmidt (MGS), Least Squares, and Backward Stability of MGS-GMRES
Original language description
The generalized minimum residual method (GMRES) [Y. Saad and M. Schultz,SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856-869] for solving linear systems Ax=b is implemented as a sequence of least squares problems involving Krylov subspaces of increasingdimensions. The most usual implementation is modified Gram-Schmidt GMRES (MGS-GMRES). Here we show that MGS-GMRES is backward stable. The result depends on a more general result on the backward stability of a variant of the MGS algorithm applied to solving a linear least squares problem, and uses other new results on MGS and its loss of orthogonality, together with an important but neglected condition number, and a relation between residual norms and certain singular values.
Czech name
Modifikovaný Gram-Schmidtův algoritmus, úloha nejmenších čtverců a zpětná stabilita metody GMRES
Czech description
Metodu zobecněných minimálních reziduí (GMRES) [Y. Saad a M.Schultz, SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856-869] pro řešení nesymetrických soustav lineárních rovnic Ax=b lze interpretovat jako posloupnost problémů nejmenších čtverců na Krylovovských prostorech s rostoucí dimenzí. Nejpoužívanější implementace metody MGS-GMRES používá na výpočet bazí těchto prostorů Modifikovaný Gram-Schmidtův ortogonalizační proces (MGS). V této publikaci je ukázáno, že implementace MGS=GMRES je zpětně stabilním algoritmem. Tento výsledek vyplývá z obecnějšího výsledku o zpětné stabilitě varianty algoritmu MGS aplikované na problém nejmenších čtverců a využívá další nové poznatky o ztrátě ortogonality v MGS, nově zavedeném čísle podmíněnosti a vztahu mezi normou rezidua a některými singulárními čísly.
Classification
Type
Jx - Unclassified - Peer-reviewed scientific article (Jimp, Jsc and Jost)
CEP classification
BA - General mathematics
OECD FORD branch
—
Result continuities
Project
Continuities
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Z - Vyzkumny zamer (s odkazem do CEZ)
Others
Publication year
2006
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data specific for result type
Name of the periodical
SIAM Journal on Matrix Analysis and Applications
ISSN
0895-4798
e-ISSN
—
Volume of the periodical
28
Issue of the periodical within the volume
1
Country of publishing house
US - UNITED STATES
Number of pages
21
Pages from-to
264-284
UT code for WoS article
—
EID of the result in the Scopus database
—
Basic information
Result type
Jx - Unclassified - Peer-reviewed scientific article (Jimp, Jsc and Jost)
CEP
BA - General mathematics
Year of implementation
2006