Deep relational learning
Project goals
We propose to develop methods for deep learning from structured data such as graphs or relational-logic structures and background knowledge, thus combining the ability of deep learning to create systems of relevant auxiliary concepts with that of inductive logic programming to exploit structured data and background knowledge and provide interpretable models. Unlike previous neuro-symbolic approaches, our approach is based on the lifted (template) modelling strategy known from statistical relational learning, and in particular on our recently proposed concept of Lifted Relational Neural Networks which has already outperformed state of the art statistical relational methods in preliminary experiments. We will address mainly the issues of scalable weight and structure learning, interpretability of learned models, and will also generalize LRNN to a framework where a logical theory acts as a structural bias and deep network architectures are models of the theory. We will also explore analogies of deep learning techniques in the pure logical setting for the goal of predicate invention.
Keywords
machine learningartificial intelligenceinductive logic programmingdeep neural networks
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
Standardní projekty 21 (SGA0201700001)
Main participants
České vysoké učení technické v Praze / Fakulta elektrotechnická
Contest type
VS - Public tender
Contract ID
17-26999S
Alternative language
Project name in Czech
Hluboké relační učení
Annotation in Czech
Navrhujeme vytvořit metody pro hluboké učení ze strukturovaných dat, jako jsou grafy nebo struktury relační logiky, a doménové znalosti, čímž spojíme schopnost hlubokého učení vytvářet soustavy relevantních pomocných konceptů se schopností induktivního logického programování učit se ze strukturovaných dat a doménové znalosti a poskytovat čitelné modely. Narozdíl od předchozích neuro-symbolických přístupů je náš přístup založen na strategii tzv. lifted modeling známé ze statistického relačního učení, a konkrétně na námi nedávno navrženém konceptu Lifted Relačních Neuronových Sítí (LRNS), který již překonal state-of-the-art metody statistického relačního učení v prvních experimentech. Budeme se hlavně zabývat škálovatelným učením vah a struktury, interpretabilitou naučených modelů a také zobecníme LRNS na paradigma, v němž logická teorie definuje strukturní zaujetí a architektury hlubokých sítí jsou modely této teorie. Také prozkoumáme analogie technik hlubokého učení v čistě logickém prostředí, které by šlo využít pro problém vymýšlení nových predikátů.
Scientific branches
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
The project brings a number of original results in theory and design of algorithms for deep learning. Valuable results have been achieved, as evidenced by a number of quality publications in prestigious journals and conferences, as well as freely available software, and methodology. No shortcomings were found either in the use of financial budget, or in following the rules of the grant project.
Solution timeline
Realization period - beginning
Jan 1, 2017
Realization period - end
Dec 31, 2019
Project status
U - Finished project
Latest support payment
Apr 10, 2019
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP20-GA0-GA-U/02:1
Data delivery date
Jul 23, 2020
Finance
Total approved costs
5,125 thou. CZK
Public financial support
4,369 thou. CZK
Other public sources
756 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
5 125 CZK thou.
Public support
4 369 CZK thou.
85%
Provider
Czech Science Foundation
CEP
JD - Use of computers, robotics and its application
Solution period
01. 01. 2017 - 31. 12. 2019