最小二乗法とは：定義・歴史・応用—ガウスとルジャンドルの手法解説

最小二乗法の定義・歴史・応用を、ガウスとルジャンドルの手法を交えて図解入りでやさしく解説する入門ガイド。

最小二乗法とは、数学において、多数の観測値から関数を構成する手順の名称である。基本的な考え方は、観測値とそのデータ点との差（残差）の二乗和が最小になるように関数を決定することである。差は正負に振れるため単純な和では相殺されてしまうので、各残差を二乗して符号を消し、残差の二乗和（L2ノルム）を目的関数として最小化する。

直感と基本式

観測データを (x_i, y_i)（i = 1, …, n）とすると、モデル f(x; θ)（パラメータ θ を持つ関数）に対する残差は r_i = y_i − f(x_i; θ) で与えられる。最小二乗法は次の目的関数を最小化することで θ を求める。

S(θ) = Σ_i r_i^2 = Σ_i (y_i − f(x_i; θ))^2

特に f がパラメータに対して線形な場合（例：回帰直線 y = a x + b、または行列表示 y = Xβ）、解析的な解が存在する。行列表示では最小二乗解は

β̂ = (XᵀX)⁻¹ Xᵀ y（XᵀX が可逆な場合）

で与えられる。一方、非線形モデルでは反復法（ガウス–ニュートン法、レーベンバーグ–マルカート法など）で最小化することが多い。

歴史的背景

カール・フリードリッヒ・ガウスは、1795年頃からこの考え方を用いていたと述べており、後に軌道力学に関する著作（代表的には1809年の『Theoria motus』）でその理論を詳述した。彼はこれを使って、失われた小惑星1ケレスを含む天体の軌道復元などの問題を扱った。ガウスはまた、ピエール＝シモン・ラプラスの確率論や誤差理論の考えを取り入れている。一方、アドリアン・マリー・ルジャンドルは1805年に独立に最小二乗法を公表し、優先権に関する議論が生じた。

このように最小二乗法は18–19世紀の天文学・測地学の必要から発展し、今日では統計学、機械学習、信号処理など幅広い分野で基礎的な推定手法として使われている。

バリエーションと計算上の方法

• 重み付き最小二乗法: 観測ごとに信頼度が異なる場合、重み w_i を用いて Σ w_i r_i^2 を最小化する。行列表現では対角行列 W を用い、解は (Xᵀ W X)⁻¹ Xᵀ W y となる（可逆の場合）。
• 正則化（リッジなど）: 多重共線性や過学習を避けるためにペナルティ項を加える（例：リッジ回帰は (XᵀX + λI) を用いる）。
• 数値解法: 正規方程式を直接解くと数値的不安定性（条件数の悪化）が起きやすい。安定な方法としては QR分解、特異値分解（SVD）、反復法（共役勾配など）が用いられる。
• 非線形最小二乗: モデルが非線形なときは、初期値から反復的に線形化して更新するガウス–ニュートン法や、安定化を加えたレーベンバーグ–マルカート法が代表的。

仮定と限界

• 最小二乗法は残差が独立で同分散（等分散性）かつ平均ゼロであることを仮定すると理論的に良い性質（Gauss–Markov 定理：最小分散不偏推定量）を持つ。残差が正規分布であれば最尤推定にも一致する。
• 外れ値や分布の裾の重いデータに対しては非常に敏感である。こうした場合は最小絶対偏差（L1）、M推定、RANSACなどのロバスト手法が好ましい。
• 説明変数間の強い相関（多重共線性）があると推定量の分散が大きくなり解釈や予測が不安定になる。

主な応用例

• 線形回帰・統計モデリング（予測と因果推論の基礎）
• 天体の軌道決定、測地観測のデータ処理（歴史的出発点）
• 信号処理・スペクトル解析（ノイズ除去やフィルタ設計）
• 機械学習における回帰モデル（例えば最小二乗は線形回帰の基礎）
• 画像再構成や逆問題（トモグラフィー、パラメータ同定）

実務上の注意点

• データの中心化（変数の平均を引く）やスケーリングは数値安定性と解釈性を改善する。
• 奇異値分解（SVD）を使えば近似ランク低下や多重共線性への対処が可能で、解の安定化や次元削減にも役立つ。
• 大規模データでは直接的な行列反転が計算的に高価なので、確率的勾配法や分散アルゴリズムを使うことが多い。

最小二乗法は簡潔で計算的に扱いやすい反面、仮定やデータの性質によっては誤った結論を招くことがある。そのため仮定の検証、外れ値への対処、適切な数値手法の選択が重要である。

文字で検索