Hậu quả của đa cộng tuyến
Trường hợp có đa cộng tuyến hoàn hảo:
Không thể ước lượng được mô hình.
Ví dụ: Trong mô hình có xảy ra biện tượng đa cộng tuyến hoàn hảo với khi đó mô hình viết lại như sau . Ta có thể tìm ướng lượng OLS cho nhưng không thể tìm ước lượng OLS cụ thể cho .
Trường hợp có đa cộng tuyến gần hoàn hảo
Ví dụ mô hình xảy ra hiện tượng đa cộng tuyến không hoàn hảo với
Các ước lượng vẫn BLUE nhưng
1./ Phương sai và hiệp phương sai của các ước lượng OLS lớn
Trong đó là hệ số tương quan giữa . Khi tăng dần đến 1 (tức là cộng tuyến tăng) thì phương sai và hiệp phương sai của 2 ước lượng này tăng dần đến vô hạn.
2./ Khoảng tin cậy cho các hệ số ước lượng rộng hơn
Ước lượng khoảng tin cậy cho khi phương sai đã biết là và . Nếu tăng gần đến 1 thì phương sai của lớn dẫn đến khoảng tin cậy cho 2 ước lượng này cũng lớn theo.
3./ Tỉ số t "không có ý nghĩa"
Kiểm định giả thuyết chúng ta đã sữ dụng tỷ số . Khi tăng gần đến 1 làm cho tỷ số t càng nhỏ dẫn đến việc tăng khả năng chấp nhận giả thuyết .
4./ cao nhưng tỉ số t ít có ý nghĩa
Để giải thích điều này. Ta hãy xét mô hình hồi quy k biến như sau . Trong trường có đa cộng tuyến gần hoàn hảo, như đã chỉ ra ở trên, ta có thể tìm được một hoặc một số hệ số góc riêng là không có ý nghĩa về mặt thống kê trên cơ sở kiểm định t. Nhưng trong khi đó lại có thể rất cao, nên bằng kiểm định F, chúng ta có thể bác bỏ giả thuyết . Mâu thuẫn này cũng là tín hiệu của đa cộng tuyến.
5./ Các ước lượng bình phương bé nhất và các sai số tiêu chuẩn của chúng trở nên rất nhạy với những thay đổi nhỏ trong số liệu
6./ Dấu của các ước lượng của hệ số hồi quy có thể sai
Khi có đa cộng tuyến gần hoàn hảo thì có thể thu được các ước lượng của các hệ số hồi quy trái chiều với điều chúng ta mong đợi. Chẳng hạn lý thuyết kinh tế cho rằng đối với hàng hóa bình thường khi thu nhập tăng, cầu hàng hóa tăng, nghĩa là khi hồi quy thu nhập là một trong các biến giải thích còn cầu hàng hóa là biến được giải thích, nếu xảy ra hiện tượng đa cộng tuyến gần hoàn hảo thì ước lượng của hệ số biến thu nhập có thể mang dấu âm - mâu thuẫn với điều chúng ta mong đợi.
7./ Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình sẽ thay đổi về độ lớn của các ước lượng hoặc dấu của chúng.
Triệu chứng chủ yếu của đa cộng tuyến mà ta đã nói ở trên là tăng sai số tiêu chuẩn. Sai số tiêu chuẩn cao hơn ngụ ý rằng sự biến thiên của hệ số hồi quy từ mẫu này đến mẫu khác cao hơn do đó một sự thay đổi nhỏ trong số liệu hoặc trong mô hình hồi quy sẽ gây ra sự thay đổi lớn của các hệ số.