hga020新2网址 hga020新2网址 hga020新2网址

线性回归模型 (2)

介绍:在线性回归模型的讨论(1)中,我们讨论了线性回归模型的基本假设和相关的推导方法。但是,在线性回归模型中,不是每个变量都对我们的模型有用吗?还是我们需要更好的模型?让我们讨论线性回归的模型选择!

1 子集选择

当我们最初建立一个模型时,如果p个预测变量中有一些不相关的预测变量,那么我们应该从中间选择一个好的预测变量子集来重新拟合模型,这样我们模型的预测能力和解释能力就会得到提高。

向量自回归模型的理论方法及应用实例_偏最小二乘模型回归实例_ols回归模型实例

偏最小二乘模型回归实例_ols回归模型实例_向量自回归模型的理论方法及应用实例

ols回归模型实例_向量自回归模型的理论方法及应用实例_偏最小二乘模型回归实例

向量自回归模型的理论方法及应用实例_ols回归模型实例_偏最小二乘模型回归实例

3.1.4 前向逐步回归

偏最小二乘模型回归实例_ols回归模型实例_向量自回归模型的理论方法及应用实例

偏最小二乘模型回归实例_向量自回归模型的理论方法及应用实例_ols回归模型实例

2 压缩估计(收缩法)

通过保留一部分预测变量并丢弃其余变量,子集选择会产生一个可解释的模型,该模型的预测误差可能低于完整模型。然而,因为这是一个离散的过程(变量要么被保留,要么被丢弃),它通常表现出高方差,因此不会减少整个模型的预测误差。另一方面,收缩方法更连续,因此不会受到高可变性的很大影响。

ols回归模型实例_向量自回归模型的理论方法及应用实例_偏最小二乘模型回归实例

偏最小二乘模型回归实例_向量自回归模型的理论方法及应用实例_ols回归模型实例

向量自回归模型的理论方法及应用实例_偏最小二乘模型回归实例_ols回归模型实例

偏最小二乘模型回归实例_向量自回归模型的理论方法及应用实例_ols回归模型实例

向量自回归模型的理论方法及应用实例_ols回归模型实例_偏最小二乘模型回归实例

ols回归模型实例_偏最小二乘模型回归实例_向量自回归模型的理论方法及应用实例

ols回归模型实例_向量自回归模型的理论方法及应用实例_偏最小二乘模型回归实例

偏最小二乘模型回归实例_ols回归模型实例_向量自回归模型的理论方法及应用实例

ols回归模型实例_向量自回归模型的理论方法及应用实例_偏最小二乘模型回归实例

LARS 可以用作 Lasso 的快速求解版本:如果非零系数达到 0,则从活动变量集中移除该变量,并重新计算当前联合最小二乘方向。

ols回归模型实例_偏最小二乘模型回归实例_向量自回归模型的理论方法及应用实例

让我们比较一下我们之前学习的子集选择方法和我们的压缩估计的结果:

偏最小二乘模型回归实例_ols回归模型实例_向量自回归模型的理论方法及应用实例

偏最小二乘模型回归实例_ols回归模型实例_向量自回归模型的理论方法及应用实例

3 降维方法

3.3.1 主成分回归(PCL)

在前两节中,我们讨论的是在原始数据上过滤一些变量集的子集。主成分分析是对原始变量进行线性组合,输出一系列不相关的其他变量偏最小二乘模型回归实例,然后用最小二乘法估计。

ols回归模型实例_偏最小二乘模型回归实例_向量自回归模型的理论方法及应用实例

ols回归模型实例_向量自回归模型的理论方法及应用实例_偏最小二乘模型回归实例

ols回归模型实例_向量自回归模型的理论方法及应用实例_偏最小二乘模型回归实例

3.3.2 偏最小二乘回归(PLS)

由于主成分回归在降维过程中只用到了自变量的一些信息,并不能反映自变量和因变量之间的某种关系,所以偏最小二乘回归就是为了解决这个问题。

偏最小二乘模型回归实例_向量自回归模型的理论方法及应用实例_ols回归模型实例

偏最小二乘法不仅分解响应矩阵提取主因子,还分解集中矩阵提取主因子。另外,在建立标定模型时,不是简单地将两个矩阵分解为主成分,而是在将X分解成score矩阵时引入Y的score矩阵信息,将Y分解成score矩阵时引入X的score。分数矩阵。矩阵信息,可以保证 X 和 Y 得分矩阵之间具有良好的线性关系。

今天的线性回归模型(2)在这里分享。在接下来的章节中偏最小二乘模型回归实例,我们还将介绍如何评估线性回归模型的残差分析。大家下期见!!