Symbolic Regression for Reinforcement Learning in Continuous Spaces
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
Standardní projekty 19 (SGA0201500001)
Main participants
České vysoké učení technické v Praze / Český institut informatiky, robotiky a kybernetiky
Contest type
VS - Public tender
Contract ID
15-22731S
Alternative language
Project name in Czech
Symbolická regrese pro posilované učení ve spojitých prostorech
Annotation in Czech
Algoritmy posilovaného učení (RL) umí optimálně řešit problémy dynamického rozhodování a řízení např. v technických disciplínách, ekonomice, medicíně a umělé inteligenci. Ani nejnovější metody RL ale dosud nepřekročily hranici mezi malými prostory diskrétních stavů a velkými prostory, či dokonce spojitými stavovými prostory. K reprezentaci užitkové funkce a řídicí strategie využívají tyto algoritmy funkční aproximátory, např. ve formě RBF funkcí. Výběr vhodného aproximátoru z hlediska jeho struktury je velmi obtížným krokem, který prakticky vždy vyžaduje ladění metodou pokus-omyl. Cílem tohoto projektu je zautomatizovat proces hledání vhodných aproximátorů užitkové funkce a řídicí strategie, tak aby se z něj stala nedílná součást procesu učení. K tomu chceme přizpůsobit symbolickou regresi, techniku založenou na genetickém programování, aby byla schopna automaticky hledat analytické funkce reprezentující řídicí strategii a užitkovou funkci v RL. Výsledkem bude nová třída metod RL vhodná pro spojité mnoharozměrné prostory stavů a akcí.
Scientific branches
R&D category
ZV - Basic research
CEP classification - main branch
JD - Use of computers, robotics and its application
CEP - secondary branch
—
CEP - another secondary branch
—
OECD FORD - equivalent branches <br>(according to the <a href="http://www.vyzkum.cz/storage/att/E6EF7938F0E854BAE520AC119FB22E8D/Prevodnik_oboru_Frascati.pdf">converter</a>)
20204 - Robotics and automatic control<br>20205 - Automation and control systems
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
The project brings a new knowledge in theory, design and experimental verification of fusion of genetic programming and reinforcement learning - especially for dynamic applications in control and robotics. This is supported by several contributions to recognized conferences and a few journal publications. No problems were found with the finances or rules of the grant project.
Solution timeline
Realization period - beginning
Jan 1, 2015
Realization period - end
Nov 29, 2019
Project status
U - Finished project
Latest support payment
May 4, 2016
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP20-GA0-GA-U/01:1
Data delivery date
Jul 2, 2020
Finance
Total approved costs
5,920 thou. CZK
Public financial support
5,920 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK