強化学習とは：報酬・探索・行動選択の定義と仕組み

強化学習とは？報酬・探索・行動選択の定義と仕組みを図解と事例でわかりやすく解説。オンライン学習や探索・活用の実践ポイントも紹介。

強化学習の生物学的背景は、オペラント条件付けと報酬で見ることができる。

強化学習（Renforcement Learning: RL）とは、ソフトウェア・エージェントにある環境での振る舞いを教え、それがいかに良いものであるかを伝えることである。強化学習は、行動主義心理学に影響を受けた機械学習の一分野である。

強化学習は教師あり学習と異なり、正しい入力と出力が示されることはない。また，強化学習は教師あり学習と異なり，通常，その都度学習する（オンライン学習）．つまり、エージェントは、探索を行うか、自分が最も良く知っていることに固執するかを選択しなければならないのです。

基本的な構成要素

エージェント（Agent）：行動を選択して環境に働きかける主体。
環境（Environment）：エージェントが相互作用する外界。状態と報酬を返す。
状態（State）：ある時点での環境の情報。観測（Observation）として部分的にしか得られない場合もある。
行動（Action）：エージェントが選べる操作や決定。
報酬（Reward）：行動の良し悪しを示す即時の数値信号。学習の目的は累積報酬（return）の最大化である。
方策（Policy）：状態から行動を選ぶルール（決定論的または確率的）。π(a|s)で表されることが多い。
価値関数（Value）：ある状態（または状態-行動対）における将来の期待報酬の見積もり。例：V(s), Q(s,a)。

目標と評価指標

強化学習の最終目的は、方策を学んで期待累積報酬を最大化することです。評価には以下が使われます：

エピソード長と収益（return）：単一試行で得られる割引和報酬。
サンプル効率：どれだけ少ない試行で良い方策を学べるか。
安定性と収束性：学習が安定して最適（あるいは十分良好）な方策に到達するか。

探索と活用のトレードオフ（Exploration vs Exploitation）

探索は未知の行動を試して情報を得ること、活用は既知の良い行動を繰り返すことです。代表的な手法：

ε-greedy（確率εでランダム行動、1−εで最良行動を選ぶ）
ソフトマックス（確率的選択で高価値の行動を優先）
上限信頼境界（UCB）やベイズ的手法
探索報酬や好奇心（intrinsic motivation）による内在的報酬付与

主要なアルゴリズムのカテゴリ

モデルフリー：環境のモデルを推定せずに価値や方策を直接学ぶ。例：Q-learning, SARSA, DQN。
モデルベース：環境の遷移モデルを学んでから計画（planning）を行う。サンプル効率が良い反面、モデル誤差の影響を受ける。
方策勾配・アクター・クリティック：方策を直接パラメータ化して勾配上昇で最適化する手法。連続行動に強い。例：REINFORCE, A2C/A3C, PPO。
深層強化学習（Deep RL）：ニューラルネットワークで関数近似を行い、高次元入力（画像など）を扱う。DQN, DDQN, DDPG, SACなどがある。

学習の実際的な課題と工夫

報酬設計（Reward Shaping）：適切な報酬を与えないと学習が進まない。スパース報酬問題に対してはサブゴール設計や報酬工夫が有効。
安定化手法：経験再生バッファ（replay buffer）、ターゲットネットワーク、正則化などで学習を安定化させる。
サンプル効率の改善：モデルベース手法や模倣学習（Imitation Learning）、転移学習を用いる。
部分観測とPOMDP：観測が部分的な場合、リカレントネットワークを使って内部状態を推定することがある。

生物学的・心理学的背景

冒頭で触れたように、強化学習はオペラント条件付けに由来する考え方とつながります。生体ではドーパミンなどの神経伝達物質が報酬予測誤差（reward prediction error）を符号化すると考えられており、これはTD（Temporal Difference）学習と類似した動作を示します。こうした生物学的観察は、RL理論の理論的裏付けやアルゴリズム設計に影響を与えています。