最小二乗法の考え方

残差の二乗和を最小化する最小二乗法と、回帰係数の公式を実例で学びます。

回帰直線を求める標準的な方法、「最小二乗法」の考え方を学びます。

茶谷 結(普段) 茶谷 結

最小二乗法は、データ点と回帰直線とのズレ(残差)の二乗の和を最小化する方法よ。

墨谷 まる(普段) 墨谷 まる

なんで二乗するの?

白河 恭子 先生(笑顔) 白河 恭子 先生

ズレには正と負があるから、そのまま足すと打ち消し合っちゃうのよ。
二乗すれば必ず正になるでしょ?

茶谷 結(普段) 茶谷 結

それに、二乗することで大きなズレほどペナルティが大きくなる効果もあるの。
だから外れ値があると影響が出やすいのよ。

橙川 こよみ(普段) 橙川 こよみ

じゃあ、絶対値で足すんじゃダメなんですかぁ?
それでもマイナスは消えますよねぇ?

白河 恭子 先生(笑顔) 白河 恭子 先生

いい質問ね。
絶対値でもいいんだけど、二乗のほうが計算で扱いやすくて、傾きがきれいな公式で出せるのよ。
だから最小二乗法が標準になっているの。

橙川 こよみ(普段) 橙川 こよみ

計算式はどうなるのぉ?

茶谷 結(普段) 茶谷 結

傾き b = s_xy / σx²、切片 a = ȳ - b×x̄。
つまり、共分散を x の分散で割れば傾きが出るということね。

墨谷 まる(笑い) 墨谷 まる

意外とシンプル!
これなら電卓でも出せそうだね。

白河 恭子 先生(普段) 白河 恭子 先生

そうそう。
3級では公式を覚えて適用できればOKよ。
導出は2級以上の範囲ということね。

最小二乗法による回帰係数の計算

公式:
  傾き b = s_xy / σx²
  切片 a = ȳ - b × x̄

前回データ (身長と体重) を使う
  x̄ = 170, ȳ = 67
  s_xy = 56 (前回計算)
  σx² = 50 (前回計算)

傾き b = 56 / 50 = 1.12
切片 a = 67 - 1.12 × 170 = 67 - 190.4 = -123.4

回帰直線: y = -123.4 + 1.12x
→ 身長が1cm伸びると体重は約1.12kg増える

確認クイズ

最小二乗法による回帰直線の傾き b を求める公式として正しいものはどれか。

  1. b = σx² / s_xy
  2. b = s_xy / σx²
  3. b = ȳ / x̄
  4. b = σy / σx
こたえを見る

正解: 2. b = s_xy / σx²

傾きは b = s_xy / σx²(共分散 ÷ xの分散)。切片は a = ȳ - b×x̄ で求めます。

白河恭子先生、茶谷結が紅葉の山をハイキングを楽しむ様子

🔖 この記事の関連書籍

Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。