回帰分析[2]

回帰分析の理屈は最小二乗法に基づく。しかしながら、幾何学的な解釈もできたりするらしい。（幾何学をわかってない人間が言えることでは・・）
そこで、まず三角形を基点に最小二乗とはどういうことなのか、というのを考えてみる。

◎三角形が直角三角形であるということ
三角形が直角三角形であることを3つの観点で見てみたい。
下図はこれから書く内容の全体図。

3つの観点というのは[3]、[4]、[5]で、[1]と[2]はその前提だ。[3]、[4]、[5]は回帰分析の式導出時にその姿が見えるだろう。
まずは、[1]と[2]について見てみよう。
※辺としてのxか、点としてのxか、というのがバラバラに書かれているので後で整備。

[1]三角不等式

三角不等式は

という式である。三角形が成り立つ条件を書いているものだ。
それだけでは今は意味が無いので、距離としての意味を考える。すると、
（x,y,zがそれぞれ2乗されている前提で）地点xからzへ行くとき、どこか別の地点（y）を経由していくよりは、直にzへ行った方が最低でも同じか、それより速くいける、という意味になる。
これは直感的に明らかだろう。変なところ（y）を経由するように行けば距離は長くなる。
ここでの問題は、直交した場合、zに速くたどり着けるということではない。
それよりも、どこか経由したときでも、直交したのと同じになるときがある、というのが驚くべきことだ。
さて、その条件は、三角形が直角三角形であるということになる。下図に示す。

[2]直角三角形

直角三角形になるとき、三角不等式は次のようになる。

ピタゴラスの定理になっているのがわかるだろう。
このことが回帰分析とどう関係するのだろうか？[3]、[4]、[5]について見てみよう。

[3]最小二乗

先ほど述べたとおり、三角形が直角ならばyを経由しても最短距離でzにたどり着ける。（同様に2乗されている前提で。）
ここで、[5]へ視点を移すために、視点を変えてzを固定し、xの長さを無限として考えてみよう。

つまり、直線zから、直線xに線を降ろすのである。
このときの線の長さがyであるが、これを最小にすると直角三角形ができることを図で確認したい。（証明などは他所様を見たら良いんだと思います。）
2乗してあるものを最小化する、という視点は後述の回帰分析の基礎的な考え方となる。

[4]内積が0
直角三角形であるとき、xとyの内積は0になる。ここでいうxとyは当然ベクトルである。
例えば、ベクトルxを(4,0)、ベクトルyを(0,4)とすると、この内積が0になることは容易に計算できる。
図示はしないが、この二つのベクトルは直線が直角に交わったものであることが理解できると思う。
なお、内積をノルムで割ったものはコサインになるというのはCOS類似度でやったとおり。（-1〜1の範囲になる。）