一文搞懂——拟合优度较低时可能存在的问题
在进行多元线性回归时,经常会遇到模型拟合效果较差的情况,那么这篇博文归纳了:当模型拟合优度较低时可能存在的一些问题。
模型拟合优度不高,考虑到可能存在的问题:
(1)多重共线性 (2)异方差 (3)自相关
以下给出每种问题的相应检验方法
1.多重共线性——方差膨胀因子(VIF)检验
VIF全称为Variance Inflation Factor,即方差膨胀因子,是用于检验多元线性回归模型中自变量之间是否存在共线性的一种统计方法。
在多元线性回归模型中,自变量之间可能存在强相关性,这会导致回归系数的估计不准确、标准误较大、显著性检验失效等问题,进而影响模型的可靠性和预测精度。为了检验自变量之间是否存在共线性,可以通过计算VIF值来进行。
VIF值是反映一个自变量是否受到其他自变量影响的程度,
在统计中, 用方差膨胀系数 (variance inflation factor) 来衡量多元线性回归模型中多重共线性 (multicollinearity) 的严重程度。
(1)VIF为回归系数估计量的方差与假设自变量间不线性相关时方差的比值。
(2)计算方法:将一个自变量作为因变量,其他自变量作为自变量拟合一个回归模型,计算出该模型的R方,然后VIF值就是1/(1-R^2)。
衡量标准:为了检验模型是否存在多重共线性, 通过查看VIF的大小, 通常以10作为判断边界:
- 当VIF<10,不存在多重共线性
- 当10≤ VIF <100, 存在较强的多重共线性
- 当VIF ≥ 100, 模型则存在严重多重共线性
【如果VIF值越大,则表示该自变量受到其他自变量的影响越大,存在较强的共线性关系。】
当检测到共线性问题时,可以采取一些方法来解决,例如删除自变量、进行主成分分析等。
2.异方差——White异方差检验(White检验)
- White检验是一种检验回归模型异方差性的统计方法。
- White检验的原理是基于残差的平方与自变量的平方的关系,存在异方差性,则残差的平方与自变量的平方存在相关性。
- 具体地,White检验通过将残差的平方作为因变量,自变量为原模型的自变量和自变量的平方、交叉项等,利用OLS估计方法进行回归分析,得到回归系数和对应的统计量,进而计算出p值进行假设检验。
在怀特检验中,原假设是残差的方差是常数,即不存在异方差性。异方差性指的是误差项的方差在不同观测值上不同,可能呈现出不规律的模式。
- 如果 p 值小于显著性水平(通常为0.05),则可以拒绝原假设,表明存在异方差性,即残差的方差不是常数。这可能意味着模型的方差在不同条件下发生了变化,需要对模型进行修正或改进。
- -如果 p 值大于显著性水平(通常为0.05),则可以接受原假设,表明不存在异方差性。
3.自相关——Breusch-Godfrey序列相关拉格朗日乘子(LM)检验
LM检验的零假设是时间序列不存在自相关,因此如果检验的p值低于显著性水平,就有足够的证据拒绝零假设,表明时间序列存在自相关。
- 若p>0.05,接受原假设,模型不存在自相关
- 若p值小于0.05,拒绝原假设,模型存在自相关
还有一些完整的理论部分后续更新,有空也会写写这些内容的python代码实现,可以蹲一蹲哦~