コンピュータ数値解析最小自乗法

情報通信工学科コンピュータ数値解析　担当：中川朋子

データ　y を xの3次式 c₀ + c₁ x + c₂ x² + c₃ x³ で近似するとき
この式を使って、xにi番目のデータ x_iを代入して得られた予想値 c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ と
i番目のデータ　　y_i　との
差は　　 ( c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ ) - y_i
差の２乗　（ c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ - y_i ）²　
差の２乗の総和Ｓは
S = Σ_i （ c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ - y_i ）²　

差の２乗の総和Ｓが最小になるようにc₀を選ぶには、

Sをc₀で微分したときに 0 になるようにすれば良い。

∂S

∂c₀

= 2Σ_i （ c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ - y_i ）なので

　　　　　 2Σ_i （ c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ - y_i ） = 0
c₀, c₁, c₂, ... はΣ_iとは無関係なので、外に出せて、
(Σ_i1) c₀ + (Σ_i x_i) c₁ + (Σ_i x_i²) c₂+ (Σ_i x_i³) c₃ = Σ_iy_i とも書ける。...............................(*)

差の２乗の総和Ｓが最小になるようにc₁を選ぶには、
Sをc₁で微分したときに 0 になるようにすれば良い。

∂S

∂c₁

= 2Σ_i {（ c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ - y_i ） x_i } なので

　　　　　 2Σ_i （ c₀ x_i + c₁ x_i x_i+ c₂ x_i² x_i+ c₃ x_i³ x_i - y_ix_i ） = 0
この式は
(Σ_ix_i) c₀ + (Σ_i x_i²) c₁ + (Σ_i x_i³) c₂+ (Σ_i x_i⁴) c₃ = Σ_iy_ix_i とも書ける。...............................(*)

差の２乗の総和Ｓが最小になるようにc₂を選ぶには、
Sをc₂で微分したときに０になるようにすれば良い。

∂S

∂c₂

= 2Σ_i {（ c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ - y_i ） x_i² } なので

(Σ_ix_i²) c₀ + (Σ_i x_i³) c₁ + (Σ_i x_i⁴) c₂+ (Σ_i x_i⁵) c₃ = Σ_iy_ix_i² ...............................(*)

差の２乗の総和Ｓが最小になるようにc₃を選ぶには、
Sをc₃で微分したときに０になるようにすれば良い。

∂S

∂c₃

= 2Σ_i {（ c₀ + c₁ x_i + c₂ x_i² + c₃ x_i³ - y_i ） x_i³ }なので

(Σ_ix_i³) c₀ + (Σ_i x_i⁴) c₁ + (Σ_i x_i⁵) c₂+ (Σ_i x_i⁶) c₃ = Σ_iy_ix_i³ ...............................(*)

.............(*)のついた式を集めてくると、連立方程式になっている。
( Σ_i1 ) c₀ + (Σ_i x_i ) c₁ + (Σ_i x_i²) c₂+ (Σ_i x_i³) c₃ = Σ_iy_i
(Σ_ix_i ) c₀ + (Σ_i x_i²) c₁ + (Σ_i x_i³) c₂+ (Σ_i x_i⁴) c₃ = Σ_iy_ix_i
(Σ_ix_i²) c₀ + (Σ_i x_i³) c₁ + (Σ_i x_i⁴) c₂+ (Σ_i x_i⁵) c₃ = Σ_iy_ix_i²
(Σ_ix_i³) c₀ + (Σ_i x_i⁴) c₁ + (Σ_i x_i⁵) c₂+ (Σ_i x_i⁶) c₃ = Σ_iy_ix_i³
これを c₀, c₁, c₂, ... について解き、最初に作った近似式に入れると、できあがり。

3次式で近似するときは＿＿元連立方程式を解くことになるね。　　　　　　 m次式で近似する場合

前回作った「連立方程式を解く」プログラムを使おう。