最小二乗法の考え方

回帰直線を求める標準的な方法、「最小二乗法」の考え方を学びます。

白銀 ゆき

最小二乗法?は、データ点と回帰直線とのズレ(残差)の二乗の和を最小化する方法よ。

胡桃 あんず

なんで二乗するの?

若葉 みどり 先生

ズレには正と負があるから、そのまま足すと打ち消し合っちゃうのよ。
二乗すれば必ず正になるでしょ?

白銀 ゆき

それに、二乗することで大きなズレほどペナルティが大きくなる効果もあるの。
だから外れ値があると影響が出やすいのよ。

桜井 もも

じゃあ、絶対値で足すんじゃダメなんですかぁ?
それでもマイナスは消えますよねぇ?

若葉 みどり 先生

いい質問ね。
絶対値でもいいんだけど、二乗のほうが計算で扱いやすくて、傾きがきれいな公式で出せるのよ。
だから最小二乗法が標準になっているの。

桜井 もも

計算式はどうなるのぉ?

白銀 ゆき

傾き b = s_xy / σx²、切片 a = ȳ - b×x̄。
つまり、共分散を x の分散で割れば傾きが出るということね。

胡桃 あんず

意外とシンプル!
これなら電卓でも出せそうだね。

若葉 みどり 先生

そうそう。
3級では公式を覚えて適用できればOKよ。
導出は2級以上の範囲ということね。

最小二乗法による回帰係数の計算

公式:
  傾き b = s_xy / σx²
  切片 a = ȳ - b × x̄

前回データ (身長と体重) を使う
  x̄ = 170, ȳ = 67
  s_xy = 56 (前回計算)
  σx² = 50 (前回計算)

傾き b = 56 / 50 = 1.12
切片 a = 67 - 1.12 × 170 = 67 - 190.4 = -123.4

回帰直線: y = -123.4 + 1.12x
→ 身長が1cm伸びると体重は約1.12kg増える