Khoảng tin cậy và kiểm định giả thiết về các hệ số hồi quy

Thực sự chúng ta không biết σ2 size 12{σ rSup { size 8{2} } } {} nên ta dùng ước lượng không chệch của nó là

Sai số chuẩn của hệ số hồi quy cho độ dốc

Từ với ta có

(3.14)

Từ tính chất của phương sai mẫu ta có

(3.15)

Từ (3.14) và (3.15) Ta xây dựng trị thống kê

(3.16)

Biến đổi vế trái chúng ta được

Thay vào (3.16) ta được

(3.17)

Chứng minh tương tự ta có

(3.18)

Ước lượng khoảng cho hệ số hồi quy với mức ý nghĩa α size 12{α} {} như sau

(3.19)

(3.20)

Chúng ta quan tâm nhiều đến ý nghĩa thống kê độ dốc ( β size 12{β} {}₂) của phương trình hồi quy hơn là tung độ gốc ( β size 12{β} {}₁). Cho nên từ đây đến cuối chương chủ yếu chúng ta kiểm định giả thiết thống kê về độ dốc.

Giả thiết

Phát biểu mệnh đề xác suất

Quy tắc quyết định

Nếu hoặc thì bác bỏ H₀.

Nếu thì ta không thể bác bỏ H₀.

Quy tắc thực hành-Trị thống kê t trong các phần mềm kinh tế lượng

Trong thực tế chúng ta thường xét xem biến độc lập X có tác động lên biến phụ thuộc Y hay không. Vậy khi thực hiện hồi quy chúng ta kỳ vọng β2≠ size 12{β rSub { size 8{2} } <> } {}0. Mức ý nghĩa hay được dùng trong phân tích hồi quy là β size 12{β} {}=5%.

Giả thiết

Trị thống kê trở thành

Quy tắc quyết định

Nếu

thì bác bỏ H₀.

Nếu

thì không thể bác bỏ H_0.

Tra bảng phân phối Student chúng ta thấy khi bậc tự do n trên 20 thì trị thống kê t_97,5% thì xấp xỉ 2.

Quy tắc thực hành

Nếu /t-stat/ > 2 thì bác bỏ giả thiết β size 12{β} {}₂ = 0.

Nếu /t-stat/≤ 2 thì ta không thể bác bỏ giả thiết β size 12{β} {}₂=0.

Trong các phần mềm bảng tính có tính toán hồi quy, người ta mặc định mức ý nghĩa α=5% và giả thiết H₀: β size 12{β} {}_i=0. Thủ tục tính toán hồi quy của Excel cung cấp cho ta các hệ số hồi quy, trị thống kê t, ước lượng khoảng của hệ số hồi quy và giá trị p

Excel

Kết quả Regresstion cho dữ liệu của ví dụ 3.1. (Chỉ trích phần hệ số hồi quy)

Intercept: Tung độ gốc

Coefficients : Hệ số hồi quy

Standard Error : Sai số chuẩn của ước lượng hệ số

t Stat : Trị thống kê t_(n-2)

P-value : Giá trị p

Lower95%: Giá trị tới hạn dưới của khoảng ước lượng với độ tin cậy 95%.

Upper95% : Giá trị tới hạn trên của khoảng ước lượng với độ tin cậy 95%.

Bác bỏ H₀ khi /t-stat/ > 2 hoặc p-value < 0,05 hoặc khoảng (Lower;Upper) không chứa 0.

Eviews

Thủ tục Make Equation cho kết quả như sau(chỉ trích phần hệ số hồi quy):

C : Tung độ gốc

Coefficient : Hệ số hồi quy

Std. Error : Sai số chuẩn của ước lượng hệ số

t – Statistic : Trị thống kê t_(n-2)

Prob: Giá trị p.Bác bỏ H₀ khi /t-Statistic/ > 2 hoặc Prob < 0,05.

SPSS

Thủ tục Regression->Linear. (Chỉ trích phần hệ số hồi quy).

Constant: Tung độ gốc

Unstandardized Coefficients: Các hệ số hồi quy

Standardized Coefficients: Các hệ số hồi quy chuẩn hoá

t: t-StatSig: Giá trị p.

Bác bỏ H₀ khi /t/ >2 hoặc Sig < 0,05

Định lý Gauss-Markov

Với các giả định của mô hình hồi quy tuyến tính cổ điển, hàm hồi quy tuyến tính theo phương pháp bình phương tối thiểu là ước lượng tuyến tính không thiên lệch tốt nhất.

Chúng ta sẽ không chứng minh đinh lý này.

Độ thích hợp của hàm hồi quy – R 2

Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được cho dữ liệu mẫu. Thước đo độ phù hợp của mô hình đối với dữ liệu là R². Để có cái nhìn trực quan về R², chúng ta xem xét đồ thị sau

Hình 3.5. Phân tích độ thích hợp của hồi quy

Yi−Yˉ size 12{Y rSub { size 8{i} } - { bar {Y}}} {}: biến thiên của biến phụ thuộc Y, đo lường độ lệch của giá trị Yi so với giá trị trung bình Yˉ. size 12{ { bar {Y}} "." } {}

Yˆi−Yˉ size 12{ { hat {Y}} rSub { size 8{i} } - { bar {Y}}} {}: biến thiên của Y được giải thích bởi hàm hồi quy

ei=Yi−Yˆi size 12{e rSub { size 8{i} } =Y rSub { size 8{i} } - { hat {Y}} rSub { size 8{i} } } {}: biến thiên của Y không giải thích được bởi hàm hồi quy hay sai số hồi quy.

Trên mỗi Xi chúng ta kỳ vọng e_i nhỏ nhất, hay phần lớn biến thiên của biến phụ thuộc được giải thích bởi biến độc lập. Nhưng một hàm hồi quy tốt phải có tính chất mang tính tổng quát hơn. Trong hồi quy tuyến tính cổ điển, người ta chọn tính chất tổng bình phương biến thiên không giải thích được là nhỏ nhất.

Ta có

Với yi=Yi−Yˉ size 12{y rSub { size 8{i} } =Y"" lSub { size 8{i} } - { bar {Y}}} {} và yˆi=Yˆ−Yˉ size 12{ { hat {y}} rSub { size 8{i} } = { hat {Y}} - { bar {Y}}} {}

Vậy (3.21)

Số hạng cuối cùng của (3.21) bằng 0.

Vậy

Đặt

TSS(Total Sum of Squares): Tổng bình phương biến thiên của Y.

ESS(Explained Sum of Squares): Tổng bình phương phần biến thiên giải thích được bằng hàm hồi quy của Y.

RSS(Residual Sum of Squares) : Tổng bình phương phần biến thiên không giải thích được bằng hàm hồi quy của Y hay tổng bình phương phần dư.Ta có:

TSS = ESS + RSS

Đặt

Mặt khác ta có Vậy

(3.22)

Vậy đối với hồi quy hai biến R² là bình phương của hệ số tương quan.

Tính chất của R²

0≤ R² ≤1. Với R²=0 thể hiện X và Y độc lập thống kê. R² =1 thể hiện X và Y phụ thuộc tuyến tính hoàn hảo.

R² không xét đến quan hệ nhân quả.

Dự báo bằng mô hình hồi quy hai biến

Dựa trên X₀ xác định chúng ta dự báo Y_0.

Ước lượng điểm cho Y₀ là : .

Để ước lượng khoảng chúng ta phải tìm phân phối xác suất của Yˆi size 12{ { hat {Y}} rSub { size 8{i} } } {}.

Dự báo giá trị trung bình

Từ

Suy ra (3.23)

Thay biểu thức của

ở mục 3.3.4 vào (3.23) và rút gọn

Dự báo giá trị cụ thể của Y₀

Từ

Ta có

và (3.25)

Số hạng cuối cùng. Vậy

(3.26)

Sai số chuẩn của dự báo

Cho giá trị của Y₀

Khoảng tin cậy cho dự báo

Nhận xét: X 0 càng lệch ra khỏi giá trị trung bình thì dự sai số của dự báo càng lớn. Chúng ta sẽ thấy rõ điều này qua đồ thị sau.

Ước lượng khoảng cho Y₀ trung bìnhY trung bìnhƯớc lượng khoảng cho Y₀X trung bình

Hình 3.6. Ước lượng khoảng cho Y₀.