最小二乗法

標本分散と不偏分散について説明。証明方法は割愛。図を見て、不偏分散の必要性を察っするレベルで確認。各ツール、各言語で分散を求める関数等があるが、大体が不偏分散。オプション指定で標本分散にすることも恐らく可能。

標本分散と不偏分散について説明。証明方法は割愛。図を見て、不偏分散の必要性を察っするレベルで確認。各ツール、各言語で分散を求める関数等があるが、大体が不偏分散。オプション指定で標本分散にすることも恐らく可能。

総和、平均、分散、共分散を元に1次関数最小二乗法の係数算出が可能。ただし、各数式の変形が必要なため、変形式を導出。係数b(切片)を求めたあとに係数a(傾き)を求める。一般的な連立方程式の解き方と一緒。

平均、平均の変形、分散の変形、共分散の変形を用いて係数aを求めた。共分散、分散の計算式を元に図解すると四角形の面積で表現できる。x,y方向の差の積による四角形、x方向の差の二乗による四角形の比なので、傾きを求めるのと同一となる。

いままでの導出した変形式と一次関数最小二乗法の連立方程式を再掲。最小二乗法の連立方程式の片方からbを算出。aが不明なため、このままではbも不明だが、もう片方の式のbに代入すればaが求まる。aが求まれば、bも求まるはず。

共分散について簡単に説明。2種類のデータの相関性を評価できる。相関性について簡単に説明。正の相関、負の相関。強い相関、弱い相関。共分散の式を変形した。

分散の定義及び変形式の確認。複雑な変形を経た上でシンプルな変形式になる。展開のルールと、分配のルールが使える。Excelの表をイメージすると分かりやすいかも？

総和の定義を確認。単に足すだけ。係数×要素数をΣを使って表現するパターンもある。平均値の定義と変形。総和を要素数でわればOK。要素数を右辺から左辺に持ってきた変形式が重要。

1次関数最小二乗法の途中過程の連立方程式を再確認。平均値、分散、共分散の関連性の雰囲気で把握。これを仮説としていろいろ確認していく。

1次関数最小二乗法の別の算出方法がある。平均、分散、共分散を利用したもの。上記の内容を一個ずつ説明していく予定。