English (United Kingdom)

https://curated-unify.zendy.io/wp-json/zendy-region/v1/featured_content/oa?rat=en

https://curated-unify.zendy.io/wp-json/zendy-region/v1/highlighted_journal/

Global: Zendy Plus annual

Presents the access of premium content as premium feature

Premium Content

Presents the keyphrase highlighting as premium feature

Keyphrase Highlighting

Presents the summarisation as premium feature

Summarisation

Insights

Presents the pdf analysis as premium feature

PDF Analysis

Presents the zaia usage as premium feature

ZAIA

Global: Zendy Tools annual

Global: Zendy Free Plan

Global: Zendy Tools monthly

Global: Zendy Plus monthly

強化学習は,あ る未知な環境の中で探索を行い報酬を最 大化するような行動則を学習する枠組みを言 う.強 化学習 は,環 境内の報酬のみを設定するだけで目標を達成する行 動則を学習するため,未 知環境で行動するロボ ットなどに 応用可能であ り,ま た,人 間の常識ではカバーしきれない ような問題,例 えばバ ックギ ャモン等のゲームに対 しても 人間のエキスパー トに匹敵する良い方略を学習することが できる. これ まで強化学習手法の多 くが離散状態 ・離散時間環境 を想定していたが,最 近連続状態 ・時間の制御問題に対 し ても適用できる方法が定式化されている[1].し か し,非 線 形な環境や制御対象に対 して強化学習を適用すると学習が 遅いとい う問題が生じる.ま た,環 境が非定常な場合,環 境のダイナ ミクスの変化が遅 く,学 習がその変化に追い付 ける場合には適応できるが,非 常に速い環境の変化が起こ る場合は適応できない. 一方人間は環境の変化に対して非常に高い適応能力を持 つが,特 に,新 たな環境か ら通常の環境に戻った場合(脱 適応)や,通 常の環境から以前に適応 したことのある環境 への適応(再 適応)は ,初 めての環境への適応に比べて著 しく早いことが様 々な心理実験の結果明らか となっている. このような特徴を持つ脳内の情報処理システム として , モジュール構造の考え方が注目されている[2].性 質が異な るモジュールが学習によって複数形成され,そ れらが互い に切 り替えもしくは組み合わ されることで,複 数の環境や 制御対象に対して速やかな適応性 を示すことが可能となる. また,強 化学習の分野でもモジュール構造や階層構造を 導入する強化学習方式が提案されている.し かし,こ れらは 階層的な空間分割をあらかじめ与える方法[7]や,モ ジュー ルの担当領域を示す信号をタスクや空間ご とに用意する方 法[8],複 数ステップにわたる固定行動則を行動として選択 する強化学習[9][10],モ ジュールの階層構造を与えて環境 の切 り分けと制御則を学習する方法[11]な ど,環 境の構造 や空間的な分割の事前知識をあらかじめ与える場合が多い. 本解説では,最 近我々が提案した環境の予測可能性に基 づいて環境を分割する複数モジュール競合アーキテクチャ MOSAIC[2][6]を 強化学習に拡張したアーキテクチヤ[3]~

MOSAIC Reinforcement Learning Architecture: Symbolization by Predictability and Mimic Learning by Symbol