吉野遊君（博士前期課程１年香取研究室）が国際会議NEURO2022で“Junior Investigator Poster Award”を受賞

2022年6月30日から7月3日にかけて沖縄県で開催された国際会議NEURO2022において、吉野遊君（複雑系情報科学領域、指導教員：香取勇一教授）が、非線形力学系を利用した強化学習モデルに関する下記の発表で“Junior Investigator Poster Award NEURO2022”を受賞しました。“Short-term memory ability of reservoir-based temporal difference learning model in partially observable Markov decision process”（部分観測マルコフ決定過程におけるリザバーコンピューティングを基にしたTD学習モデルの短期記憶能力）

NEURO2022は、第45回日本神経科学大会、第65回日本神経化学会大会、第32回日本神経回路学会大会の3学会合同学会として開催されました。吉野君はリザバーコンピューティングと強化学習を組み合わせたモデルの短期記憶能力について検証し、部分観測可能な環境における自律移動性能を示しました。本研究の成果は、次世代の自律移動ロボットモデルとして注目されるとともに、脳の情報処理モデルとしての発展が期待されています。

“Short-term memory ability of reservoir-based temporal difference learning model in partially observable Markov decision process”

Yu Yoshino(1), Yuichi Katori(1,2) (1) Graduate School of Systems Information Science, Future University Hakodate, (2) International Research Center for Neurointelligence (IRCN), The University of Tokyo We study reinforcement learning models using reservoir computing (RC) for autonomous mobile robots. An autonomous robot translates sensory information from the environment into action. Limitations of available sensors or the computing power in their small computing resources make it challenging to adapt autonomous mobility technology to complex environments. The RC-based temporal difference (TD) learning model was proposed as an autonomous mobility model that is computationally inexpensive and can adapt to unknown environments through online learning. We have investigated the parameter dependence of short-term memory, an important property of the model, on a memory-required task. In this presentation, we focus on the model’s short-term memory capacity and show that the robot’s reservoir state is formed according to the memory. We also show that an autonomous mobile robot can use its short-term memory to select actions according to event sequences in a partially observable Markov decision process (POMDP) environment.

この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)の委託業務(JPNP16007)、およびJSPS科研費(21H05163, 20H04258, 20H00596, 21H03512 )、JST, CREST(JPMJCR18K2)、ムーンショット型研究開発事業(JPMJMS2021)の助成の結果得られたものです。