COMPARISON OF ESTIMATORS UNDER MULTICOLLINEARITY PROBLEM: GENERALIZED MAXIMUM ENTROPY, RIDGE, LIU


Örk Özel S., Gezer F.

Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, no.66, pp.82-96, 2020 (Peer-Reviewed Journal)

Abstract

In general linear regression models, in the presence of multicollinearity, the parameter estimates are obtained as unstable and with inflated variance when the least squares (OLS) method is used. In such cases, the usage of alternative biased estimators is recommended instead of OLS for reducing the negative effects of multicollinearity. In this study, biased estimators which are Ridge, Liu and Generalized Maximum Entropy (GME) have been used to obtain more stable parameter estimates in a general linear regression model with multicollinearity. Performances of these estimators have been compared according to the mean square error (MSE) criteria. MSE values of these estimators have been obtained by both the bootstrap method using observed data and Monte Carlo simulation study. As a result, in the presence of multicollinearity, it has been decided that GME estimator is the most efficient estimator.

Genel lineer regresyon modellerinde, çoklu doğrusal bağlantının varlığı durumunda, en küçük kareler (EKK) yöntemi kullanıldığında parametre tahminleri kararsız ve yüksek varyanslı olarak elde edilirler. Bu durumda, çoklu doğrusal bağlantının olumsuz etkilerini azaltmak için EKK yerine alternatif yanlı tahmin edicilerin kullanılması önerilir. Çalışmada, çoklu doğrusal bağlantının tespit edildiği bir genel lineer regresyon modelinde daha kararlı parametre tahminleri elde etmek amacıyla yanlı tahmin edicilerden Ridge, Liu ve Genelleştirilmiş maksimum entropi (GME) tahmin edicileri kullanılmıştır. Tahmin edicilerin performansları hata kareleri ortalamaları (HKO) bazında karşılaştırılmıştır. Tahmin edicilerin HKO değerleri hem bootstrap yöntemi ile hem de Monte Carlo simülasyon çalışması ile elde edilmiştir. Sonuç olarak, çoklu doğrusal bağlantı durumu söz konusu iken en etkin tahmin edicinin GME olduğuna karar verilmiştir.