Phụ lục 3: Phương pháp bình phương nhỏ nhất trong phân tích hồi quy

Mô hình hồi quy tuyến tính có dạng:

y=f(x)=ax+b size 12{y=f ( x ) = ital "ax"+b} {}.

Theo phương pháp bình phương nhỏ nhất, các hệ số hồi quy a size 12{a} {} và b size 12{b} {} trong phương trình trên được tìm sao cho tổng bình phương sai số bằng

cực tiểu. Lần lượt lấy đạo hàm biểu thức này theo a size 12{a} {}, b size 12{b} {} và cho bằng không, ta được hệ phương trình sau đây để xác định a size 12{a} {} và b size 12{b} {}:

a∑k=1nxk2+b∑k=1nxk=∑k=1nxkyk size 12{a Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{2} } } +b Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } } = Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } y rSub { size 8{k} } } } {}, a∑k=1nxk+bn=∑k=1nyk size 12{a Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } } +b n= Sum cSub { size 8{k=1} } cSup { size 8{n} } {y rSub { size 8{k} } } } {}.

Vậy các hệ số hồi quy được tính theo các công thức sau:

a=∑k=1nxk∑k=1nyk−n∑k=1nxkyk(∑k=1nxk)2−n∑k=1nxk2 size 12{a= { { Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } } Sum cSub { size 8{k=1} } cSup { size 8{n} } {y rSub { size 8{k} } } - n Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } y rSub { size 8{k} } } } over { ( Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } } ) rSup { size 8{2} } - n Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{2} } } } } } {} (20)

b=∑k=1nxk∑k=1nxkyk−∑k=1nxk2∑k=1nyk(∑k=1nxk)2−n∑k=1nxk2 size 12{b= { { Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } y rSub { size 8{k} } } - Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{2} } } Sum cSub { size 8{k=1} } cSup { size 8{n} } {y rSub { size 8{k} } } } over { ( Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } } ) rSup { size 8{2} } - n Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{2} } } } } } {}, (21)

hay hệ số b size 12{b} {} còn có thể tính theo công thức:

b=∑k=1nyk−a∑k=1nxkn size 12{b= { { Sum cSub { size 8{k=1} } cSup { size 8{n} } {y rSub { size 8{k} } } - a" " Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } } } over {n} } } {}. (22)

Phương pháp bình phương nhỏ nhất cũng có thể áp dụng để tính các hệ số hồi quy đa thức dạng

f(x)=a0+a1x+a2x2+...+anxm size 12{f ( x ) =a rSub { size 8{0} } +a rSub { size 8{1} } x+a rSub { size 8{2} } x rSup { size 8{2} } + "." "." "." +a rSub { size 8{n} } x rSup { size 8{m} } } {}.

thí dụ đối với mô hình bậc hai

f(x)=a0+a1x+a2x2 size 12{f ( x ) =a rSub { size 8{0} } +a rSub { size 8{1} } x+a rSub { size 8{2} } x rSup { size 8{2} } } {}.

Lấy đạo hàm tổng sai số theo các hệ số và cho bằng không ta có hệ sau đây để xác định các hệ số hồi quy bậc hai:

a2∑k=1nxk2+a1∑k=1nxk+a0n=∑k=1nyka2∑k=1nxk3+a1∑k=1nxk2+a0∑k=1nxk=∑k=1nxkyka2∑k=1nxk4+a1∑k=1nxk3+a0∑k=1nxk2=∑k=1nxk2yk{{ size 12{alignl { stack { left lbrace " "a rSub { size 8{2} } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{2} } } + a rSub { size 8{1} } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } +a rSub { size 8{0} } } n= Sum cSub { size 8{k=1} } cSup { size 8{n} } {y rSub { size 8{k} } } {} # right none left lbrace " "a rSub { size 8{2} } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{3} } } + a rSub { size 8{1} } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{2} } +a rSub { size 8{0} } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } } } = Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } y rSub { size 8{k} } } {} # right none left lbrace " "a rSub { size 8{2} } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{4} } } + a rSub { size 8{1} } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{3} } +a rSub { size 8{0} } Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{2} } } } = Sum cSub { size 8{k=1} } cSup { size 8{n} } {x rSub { size 8{k} } rSup { size 8{2} } y rSub { size 8{k} } } {} # right no } } lbrace } {} (23)

Về nguyên tắc ta có thể sử dụng phương pháp này để tìm phương trình đa thức bậc bất kỳ. Tuy nhiên trong thực tế phương pháp trở thành không ổn định khi bậc đa thức lớn hơn vì các sai số làm tròn số trong máy tính.

Phương pháp bình phương nhỏ nhất có thể áp dụng cho hàm bất kỳ, nhưng hệ các phương trình để tìm các hệ số có thể phi tuyến, và do đó không thể giải được bằng cách sử dụng các phương trình tuyến tính. Tuy nhiên, trong một số trường hợp, một hàm phi tuyến có thể chuyển thành một hàm tuyến tính. Thí dụ về một hàm có thể tuyến tính hóa là

f(x)=bxa size 12{f ( x ) =b size 5{ }x rSup { size 8{a} } } {} (24)

Nếu lấy loga hai vế của phương trình này, ta có

lnf(x)=alnx+lnb size 12{"ln"f ( x ) =a"ln"x+"ln"b} {}. (25)

Nếu ký hiệu

g(x)=lnf(x) size 12{g ( x ) ="ln"f ( x ) } {} (26)

b˜=lnb size 12{ { tilde {b}}="ln"b} {} (27)

x˜=lnx size 12{ { tilde {x}}="ln"x} {} (28)

y˜=lny size 12{ { tilde {y}}="ln"y} {} (29)

ta có

g(x)=ax˜+b˜ size 12{g ( x ) =a { tilde {x}}+ { tilde {b}}} {} (30)

Với phương trình (30) các hệ số hồi quy a size 12{a} {} và b˜ size 12{ { tilde {b}}} {} tính theo các công thức

a=∑k=1nx˜k∑k=1ny˜k−n∑k=1nx˜ky˜k(∑k=1nx˜k)2−n∑k=1nx˜k2 size 12{a= { { Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } } Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {y}} rSub { size 8{k} } } - n Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } { tilde {y}} rSub { size 8{k} } } } over { ( Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } } ) rSup { size 8{2} } - n Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } rSup { size 8{2} } } } } } {} (31)

b˜=∑k=1nx˜k∑k=1nx˜ky˜k−∑k=1nx˜k2∑k=1ny˜k(∑k=1nx˜k)2−n∑k=1nx˜k2 size 12{ { tilde {b}}= { { Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } } Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } { tilde {y}} rSub { size 8{k} } } - Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } rSup { size 8{2} } } Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {y}} rSub { size 8{k} } } } over { ( Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } } ) rSup { size 8{2} } - n Sum cSub { size 8{k=1} } cSup { size 8{n} } { { tilde {x}} rSub { size 8{k} } rSup { size 8{2} } } } } } {} (32)

Vậy công việc tính toán gồm: chuyển đổi các giá trị số liệu xk size 12{x rSub { size 8{k} } } {} và yk size 12{y rSub { size 8{k} } } {} theo các công thức (28), (29), tính các tổng, kết quả thế vào các phương trình (31), (32) để tìm a size 12{a} {} và b˜ size 12{ { tilde {b}}} {}. Giải phương trình (27) đối với b size 12{b} {} và đặt vào phương trình (24).