強化学習とは：報酬・探索・行動選択の定義と仕組み

強化学習とは？報酬・探索・行動選択の定義と仕組みを図解と事例でわかりやすく解説。オンライン学習や探索・活用の実践ポイントも紹介。

著者: Leandro Alegsa

25-01-2026 17:28

強化学習の生物学的背景は、オペラント条件付けと報酬で見ることができる。

強化学習（Renforcement Learning: RL）とは、ソフトウェア・エージェントにある環境での振る舞いを教え、それがいかに良いものであるかを伝えることである。強化学習は、行動主義心理学に影響を受けた機械学習の一分野である。

強化学習は教師あり学習と異なり、正しい入力と出力が示されることはない。また，強化学習は教師あり学習と異なり，通常，その都度学習する（オンライン学習）．つまり、エージェントは、探索を行うか、自分が最も良く知っていることに固執するかを選択しなければならないのです。

基本的な構成要素

エージェント（Agent）：行動を選択して環境に働きかける主体。
環境（Environment）：エージェントが相互作用する外界。状態と報酬を返す。
状態（State）：ある時点での環境の情報。観測（Observation）として部分的にしか得られない場合もある。
行動（Action）：エージェントが選べる操作や決定。
報酬（Reward）：行動の良し悪しを示す即時の数値信号。学習の目的は累積報酬（return）の最大化である。
方策（Policy）：状態から行動を選ぶルール（決定論的または確率的）。π(a|s)で表されることが多い。
価値関数（Value）：ある状態（または状態-行動対）における将来の期待報酬の見積もり。例：V(s), Q(s,a)。

目標と評価指標

強化学習の最終目的は、方策を学んで期待累積報酬を最大化することです。評価には以下が使われます：

エピソード長と収益（return）：単一試行で得られる割引和報酬。
サンプル効率：どれだけ少ない試行で良い方策を学べるか。
安定性と収束性：学習が安定して最適（あるいは十分良好）な方策に到達するか。

探索と活用のトレードオフ（Exploration vs Exploitation）

探索は未知の行動を試して情報を得ること、活用は既知の良い行動を繰り返すことです。代表的な手法：

ε-greedy（確率εでランダム行動、1−εで最良行動を選ぶ）
ソフトマックス（確率的選択で高価値の行動を優先）
上限信頼境界（UCB）やベイズ的手法
探索報酬や好奇心（intrinsic motivation）による内在的報酬付与

主要なアルゴリズムのカテゴリ

モデルフリー：環境のモデルを推定せずに価値や方策を直接学ぶ。例：Q-learning, SARSA, DQN。
モデルベース：環境の遷移モデルを学んでから計画（planning）を行う。サンプル効率が良い反面、モデル誤差の影響を受ける。
方策勾配・アクター・クリティック：方策を直接パラメータ化して勾配上昇で最適化する手法。連続行動に強い。例：REINFORCE, A2C/A3C, PPO。
深層強化学習（Deep RL）：ニューラルネットワークで関数近似を行い、高次元入力（画像など）を扱う。DQN, DDQN, DDPG, SACなどがある。

学習の実際的な課題と工夫

報酬設計（Reward Shaping）：適切な報酬を与えないと学習が進まない。スパース報酬問題に対してはサブゴール設計や報酬工夫が有効。
安定化手法：経験再生バッファ（replay buffer）、ターゲットネットワーク、正則化などで学習を安定化させる。
サンプル効率の改善：モデルベース手法や模倣学習（Imitation Learning）、転移学習を用いる。
部分観測とPOMDP：観測が部分的な場合、リカレントネットワークを使って内部状態を推定することがある。

生物学的・心理学的背景

冒頭で触れたように、強化学習はオペラント条件付けに由来する考え方とつながります。生体ではドーパミンなどの神経伝達物質が報酬予測誤差（reward prediction error）を符号化すると考えられており、これはTD（Temporal Difference）学習と類似した動作を示します。こうした生物学的観察は、RL理論の理論的裏付けやアルゴリズム設計に影響を与えています。

代表的な適用例

ゲーム（Atari、囲碁：AlphaGoなど）
ロボット制御（歩行、把持）
推薦システムや広告配信の最適化
資源管理やスケジューリング
自律運転やシミュレーションベースの計画

簡単な例（グリッドワールド）

迷路状のグリッドで、スタートからゴールに到達すると報酬+1、それ以外の移動は報酬0や小さな罰（-0.01）とすると、エージェントは試行を繰り返すうちにゴールに向かう最短経路を学ぶ。探索を十分に行わないと部分最適な経路に固まるため、探索戦略が重要になる。

まとめと参考点

強化学習は「試行と報酬」を通じて行動を学ぶ枠組みであり、方策、価値、報酬、探索と活用のバランスが中核概念です。アルゴリズムは応用先や求められるサンプル効率・安定性によって使い分けられます。実用化では報酬設計や学習の安定化、サンプル効率改善が重要課題です。

はじめに

強化学習システムは、政策( π {displaystyle \pi } $\pi$ )、報酬関数( R {displaystyle R} $R$ )、価値関数( v {displaystyle v} $v$ )、および任意の環境モデルから構成されます。

ポリシーは、ある状況下で何をすべきかをエージェントに伝えるものです。それは単純なルールの表であったり，正しい行動のための複雑な探索であったりする．ポリシーは，ルールの代わりに各アクションに確率を割り当てる確率論的なものであることもある．ポリシーはそれ自体でエージェントに何かをさせることはできるが、それ自体で学習することはできない。

報酬関数は、エージェントの目標を定義する。状態（あるいは状態とその状態での行動）を受け取り，報酬と呼ばれる数値を返す．これは，その状態にあることがエージェントにとってどれだけ良いことかを示す．エージェントの仕事は、長い目で見て最大の報酬を得ることである。もし、ある行動が低い報酬をもたらすなら、エージェントはおそらく将来、より良い行動をとるでしょう。生物学では、生物が繁殖のために生き続けるために、喜びや痛みのような報酬シグナルを用いる。報酬のシグナルは、カジノのスロットマシンのように、確率的な場合もある。

価値関数は、エージェントが状態s {displaystyle s} $s$ から始まる政策π {displaystyle \pi } $\pi$ に従ってどれだけの報酬を得るかを示す。これは、ある状態になることがどれだけ望ましいかを表している。価値関数はエージェントに直接与えられないので、エージェントはこれまで得た報酬に基づいて良い推測または推定を思い付く必要があります。価値関数の推定は、ほとんどの強化学習アルゴリズムで最も重要な部分である。

モデルとは、エージェントの環境に対する精神的なコピーです。将来の行動を計画するために使用されます。

これを知っていれば、強化学習エピソードのメインループについて話すことができる。エージェントは環境と離散的な時間ステップで相互作用する。時計の「チクタク音」のようなものだと考えてください。離散時間では，物事は「チック」と「トック」の間だけ起こり，その間には起こらない．各時間t = 0 , 1 , 2 , 3 , ....{displaystyle t=0,1,2,3,...} $t=0,1,2,3,...$ このとき，エージェントは環境の状態S t {displaystyle S_{t}} $S_{t}$ を観測し，ポリシーπ {displaystyle \pi } に基づいて行動A t {displaystyle A_{t}} を選択する． $A_{t}$ $\pi$ .次のタイムステップでは、エージェントは報酬信号R t + 1 {displaystyle R_{t+1}} $R_{t+1}$ と新しい観測値S t + 1 {displaystyle S_{t+1}} を受信する。 $S_{t+1}$ .報酬を用いて価値関数 v ( S t ) {displaystyle v(S_{t})} $v(S_{t})$ が更新される。これは、終端状態 S T {displaystyle S_{T}} $S_{T}$ に到達するまで継続される。