最小二乗法

誤差関数の最小値は偏微分を使用すると求まるはず。a,bを振ったい場合の誤差関数の値は2次関数的になるので、極値は必ず極小値になる。この極小値になるa,bを求めたい。

誤差関数の最小値を求める方法として総当たりがある。しかし、時間がかかったり、精度の設定の適切性が問えないなどの問題があり現実的な手法とは言い難い。誤差関数の最小値を求めるには偏微分を使用するのが王道。偏微分は「変な微分」ではない。偏微分自体は複雑なものではなく、複雑なものをシンプルに扱うためのもの。

最もシンプルな回帰分析である1次関数の最小二乗法の解説開始。最小二乗法の理屈は「誤差の二乗の和が最小になる線」を求める。誤差が最小になる関数を誤差関数Lとして定義。1次関数に於いて最小になる誤差関数を求めた。後々、シンプルな式になる予定。

最小二乗法を代表とした回帰分析の代表的な利用シーンを説明自動車業界だと、制御対象の内部パラメータの推定で使われることもある。経年劣化で内部パラメータが変動しても回帰である程度特定可能。これにより事前交渉検知や劣化状況に合わせた制御ポリシーの変更が可能。

本シリーズは最小二乗法を代表とした回帰アルゴリズムメイン自動車業界だと、制御対象の内部パラメータの推定で使われることもある。経年劣化で内部パラメータが変動しても回帰である程度特定可能。これにより事前交渉検知や劣化状況に合わせた制御ポリシーの変更が可能。