Parallel Input/Output Algorithms for Very Large Sparse Matrices
Project goals
Algorithms for solving so called "Grand challenge problems" lead to huge data sets, typically organized as sparse matrices. This project addresses the research of effective and scalable algorithms and data structures for input/output operationson very large sparse matrices that due to their size must be stored and processed on massively parallel computers with tens or hundreds of thousands of processors. Such matrices consist of trillions of nonzero entries. The project focuses on research ofnew binary file formats for storing such matrices, on research of data structures and scalable algorithms for effective loading such matrices into massively parallel solvers, and on research of memory-effective formats for representation of such matrices in computer memory. Finally, the project also aims at research of effective and scalable algorithms for visualization of very large sparse matrices on massively parallel computers. Together with theoretical parts, the project involves verification of proposed algorithms and data structures on real massively parallel computers.
Keywords
parallelinput/outputlargesparsematricesfileformatssparsematrixstorageformatsvisualization
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
Standardní projekty 15 (SGA02012GA-ST)
Main participants
—
Contest type
VS - Public tender
Contract ID
P202-12-2011
Alternative language
Project name in Czech
Paralelní vstupně/výstupní algoritmy pro rozsáhlé řídké matice
Annotation in Czech
Algoritmy pro řešení tzv. Grand Challenge problémů vedou na obrovská data, typicky v podobě řídkých matic. Tento projekt se zabývá výzkumem efektivních a škálovatelných algoritmů a datových struktur pro vstupně/výstupní operace nad velmi rozsáhlými řídkými maticemi, které díky své velikosti musejí být ukládány a zpracovávány pomocí masivně paralelních počítačích s desítkami a stovkami tisíc procesorů. Jedná se o matice s biliony nenulových prvků. Projekt je zaměřen na výzkum nových souborových binárníchformátů pro ukládání těchto velmi rozsáhlých řídkých matic, na výzkum datových struktur a škálovatelných algoritmů umožňujících efektivní načítání těchto matic do masivně paralelních řešičů a výzkum paměťově efektivních formátů pro reprezentaci těchto matic v počítačové paměti. V neposlední řadě se projekt zaměřuje i na výzkum efektivních a škálovatelných algoritmů pro vizualizace těchto velmi rozsáhlých matic na masivně paralelních počítačích. Projekt kromě teoretické části zahrnuje i ověření navržených algoritmů a datových struktur na reálných masivně paralelních počítačích.
Scientific branches
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
The project has developed algorithms for storing large sparse matrices in a compressed form in a file system and for downsampling such matrices for visualization. The performance of the algorithms was examined on HPC clusters, showing improvement over state of the art. The project results can be important for the HPC community if the promised open source code is delivered.
Solution timeline
Realization period - beginning
Jan 1, 2012
Realization period - end
Dec 31, 2014
Project status
U - Finished project
Latest support payment
Apr 18, 2014
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP15-GA0-GA-U/01:1
Data delivery date
May 22, 2015
Finance
Total approved costs
2,933 thou. CZK
Public financial support
2,933 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
2 933 CZK thou.
Public support
2 933 CZK thou.
100%
Provider
Czech Science Foundation
CEP
IN - Informatics
Solution period
01. 01. 2012 - 31. 12. 2014