Ước lượng các hệ số của mô hình hồi quy theo phương pháp bình phương tối thiểu

Các giả định về sai số hồi quy như sau đảm bảo cho các ước lượng hệ số hàm hồi quy tổng thể dựa trên mẫu theo phương pháp bình phương tối thiểu là ước lượng tuyến tính không chệch tốt nhất(BLUE).

Giá trị kỳ vọng bằng 0:

Phương sai không đổi:

Không tự tương quan:

Không tương quan với X:

Có phân phối chuẩn:

Ở chương 5 chúng ta sẽ khảo sát hậu quả khi các giả thiết trên bị vi phạm.

Ý tưởng của phương pháp bình phương tối thiểu là tìm βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} sao cho tổng bình phương phần dư có giá trị nhỏ nhất.

Từ hàm hồi quy (3.5)

Vậy (3.6)

Điều kiện để (3.6) đạt cực trị là:

Từ (3.7) và (3.8) chúng ta rút ra

Các phương trình (3.9) và (3.10) được gọi là các phương trình chuẩn. Giải hệ phương trình chuẩn ta được

Thay (3.9) vào (3.8) và biến đổi đại số chúng ta có

Đặt xi=Xi−Xˉ size 12{x rSub { size 8{i} } =X rSub { size 8{i} } - { bar {X}}} {} và yi=Yi−Yˉ size 12{y rSub { size 8{i} } =Y rSub { size 8{i} } - { bar {Y}}} {} ta nhận được

Tính chất của tham số ước lượng

βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} là duy nhất ứng với một mẫu xác định gồm n quan sát (Xi,Yi).

βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} là các ước lượng điểm của βˆ size 12{ { hat {β}}} {}₁ và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} . Giá trị của βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} thay đổi theo mẫu dùng để ước lượng.

Tính chất của hàm hồi quy mẫu

Hàm hồi quy mẫu đi qua giá trị trung bình của dữ liệu

Thật vậy, từ (3.11) ta có Yˉ=βˆ1−βˆ2Xˉ size 12{ { bar {Y}}= { hat {β}} rSub { size 8{1} } - { hat {β}} rSub { size 8{2} } { bar {X}}} {}

Thu nhập X (XD)

Hình 3.4. Đường hồi quy mẫu đi qua giá trị trung bình của dữ liệu

Giá trị trung bình của ước lượng bằng giá trị trung bình của quan sát đối với biến phụ thuộc: EYˆ=Yˉ size 12{E left ( { hat {Y}} right )= { bar {Y}}} {}.

Giá trị trung bình của phần dư bằng 0: Eei=0 size 12{E left (e rSub { size 8{i} } right )=0} {}

Các phần dư e_i và Y_i không tương quan với nhau:

Các phần dư e_i và X_i không tương quan với nhau:

Phân phối của βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {}

Ước lượng βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {}βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {}

Kỳ vọng Eβˆ1=β1 size 12{E left ( { hat {β}} rSub { size 8{1} } right )=β rSub { size 8{1} } } {}Eβˆ2=β2 size 12{E left ( { hat {β}} rSub { size 8{2} } right )=β rSub { size 8{2} } } {}

Phương sai

Sai số chuẩn

Phân phối

Hiệp phương sai của hai hệ số ước lượng

Trong các biểu thức trên σ2=varεi size 12{σ rSup { size 8{2} } ="var" left (ε rSub { size 8{i} } right )} {} với giả định εi~N(0,σ2) size 12{ε rSub { size 8{i} } "~" N ( 0,σ rSup { size 8{2} } ) } {}