シミュレーションの世界に引きこもる部屋

最小二乗法の初歩として1次関数の最小二乗法を解説。 誤差関数を特定し最小化したものが求めたい線となる。 最小化方法は以下 総当たり(現実的ではない) 偏微分を使う 連立方程式の形にできれば行列で表現でき逆行列が利用できる。

誤差関数の偏導関数を連立方程式に。 連立方程式になったので、行列形式に表現を変えらえる。 行列形式で逆行列を解決させるために2x2の逆行列の公式を使用。 逆行列を扱えない言語の場合は、この公式を使用して逆行列を解決する必要がある。

1次関数に於ける最小二乗法の誤差関数の偏導関数を求めた。 項数が多く、ややこしい部分はあるが、一個一個はシンプル。 これをMATLAB等で簡単に演算させるためにベクトル、行列の形式に変形する必要がある。

偏導関数の公式の前に導関数の公式を確認。 偏導関数の公式も基本は導関数の公式と一緒。 偏微分する軸以外の変数を定数として扱う点が異なる。 Σが数式に紛れても分解すれば似たようなやり方になる。

誤差関数の最小値は偏微分を使用すると求まるはず。 a,bを振ったい場合の誤差関数の値は2次関数的になるので、極値は必ず極小値になる。 この極小値になるa,bを求めたい。

誤差関数の最小値を求める方法として総当たりがある。 しかし、時間がかかったり、精度の設定の適切性が問えないなどの問題があり現実的な手法とは言い難い。 誤差関数の最小値を求めるには偏微分を使用するのが王道。 偏微分は「変な微分」ではない。 偏微分自体は複雑なものではなく、複雑なものをシンプルに扱うためのもの。

最もシンプルな回帰分析である1次関数の最小二乗法の解説開始。 最小二乗法の理屈は「誤差の二乗の和が最小になる線」を求める。 誤差が最小になる関数を誤差関数Lとして定義。 1次関数に於いて最小になる誤差関数を求めた。 後々、シンプルな式になる予定。