论最小二乘法回归分析中的几个问题

申请免费试用、咨询电话：400-8352-114

　　回归分析方法是常用的数理统计方法，它用来处理变量之间的相关关系，在科学研究、工程技术等各个领域均有广泛的应用。由于回归分析是通过试验数据研究变量之间的相关关系，故使用此方法时，需要判断相关关系是否密切（对回归方程进行显著性检验）。水文计算的一些文献^[１][２]中，指出相关系数的绝对值｜ｒ｜＞０．８作为判别标准，而没有明确使用此标准的前提。另外，使用最小二乘估计，有时尽管回归方程显著，但回归方程中回归系数的符号与实际问题不符，即回归系数出现错误符号，显然这种情况下的回归方程是不能使用的。本文针对相关系数的绝对值｜ｒ｜＞０．８判别标准的来历以及回归系数错误符号的原因分析等进行论述，以期达到回归方法的正确使用。

　　１　相关系数临界值０．８的来历

　　 水文上，常用０．８作为判别相关关系是否密切的监界值。例如文献^[１][２]中均提到相关系数绝对值｜ｒ｜＞０．８时，认为相关密切。事实上，这一标准是针对一元线性回归观察值组数ｎ≥１０时的一种简便的判别方法，不具有普遍意义。若忽略了ｎ≥１０这一条件，则可能会导致错误的结论。关于这一点可以从相关系数显著性检验制成的相关系数临界值表中容易得到解释。

　　 对于多元线性回归，Ｆ检验法的统计量Ｆ和复相关系数Ｒ分别为^[３]：

　　式中　ｎ——观测数据组数

　　 　ｍ——自变量个数

　　 　ｕ——回归平方和

　　 　Ｑ——残差平方和

　　 设显著性水平为ａ、自由度为（ｍ，ｎ－ｍ－１）的Ｆ检验法的临界值为：Ｆ_ａ（ｍ，ｎ－ｍ－１），并简记为Ｆ_ａ，利用式（１）（２）可以导出Ｆ≥Ｆ_ａ等价于：

　　 时相关系数灵敏检验法的临界值，以下简记为Ｒ_ａ。

　　 当Ｒ≥Ｒ_ａ时，线性回归方程显著。

　　 对于一元线性回归，令Ｒ_ａ（ｎ－２）＝ｒ_ａ，简单线性相关系数ｒ_２＝ｕ／（Ｑ＋ｕ），｜ｒ｜＝Ｒ，当｜ｒ｜≥ｒ_ａ时，线性回归方程显著。

　　 对于Ｒａ已制成相关系数检验临界值表^[３，４]。以一元线性回归为便，由此表可得表１中的数据。

　　可见，当ａ＝０．０１，ｎ＝１０，｜ｒ｜≥０．７６５≈０．８，回归方程效果显著。

　　 由上表可知，当ａ＝０．０１，ｎ≥１０时，｜ｒ｜＞０．８＞ｒ_ａ。即ｎ＞１０时，ｒ_ａ＜０．８。在水文计算中回归分析用于插补延长系列，从避免有较大误差提高设计成果精度的角度，将ｎ≥１０时｜ｒ｜＞０．８作为相关密切的简易判别标准。但绝不能不问ｎ等于多少，而笼统地认为只要｜ｒ｜＞０．８，则相关密切。

　　 同时，还应注意，相同ａ相关系数临界值Ｒａ将随自变量个数ｍ的增大而增大。便如对于三元线性回归，当ｎ＝１０时，由文献^[４]中相关系数临界值表可查得ａ＝０．０１时，Ｒ０．０１＝０．９１１。切忌不分具体情况，一概而论，盲目使用｜ｒ｜＞０．８的判别标准。

　　 ２　回归系数错误符号的原因及分析方法

　　 为讨论方便，需引进一般多元线性回归模型

　　　　通常称Ｘ为多元回归模型的设计阵。

　　 最小二乘原则确定回归系数具有良好的性质，例如当假设ε～Ｎ（０，σ_２）时，可对回归方程进行显著性检验，经验回归系数是理论回归系数的无偏估计量等。但最小二乘估计有时会出现某些自变量的回归系数的符号与实际问题不符的不合理现象，以下实例就说明了这一点。

　　 某承压水漏斗区漏斗中心历年最低水位、历年开采量资料见表２。漏斗中心最低水位出现在每年６月底、７月初。利用水均衡方程分析表明，影响第ｔ＋１年漏斗中心最低水位的主要因素为第ｔ年漏斗中心最低水位和第ｔ年漏斗区开采量。根据１９７６～１９９５年数据建立线性回归方程为：

　　 ｈ（ｔ＋１）＝０．８９６３ ｈ（ｔ）＋０．０１５０ Ｑ（ｔ）－９．３９５２　（５）

　　 式中ｈ（ｔ）、ｈ（ｔ＋１）分别为第ｔ年、第ｔ＋１年漏斗中心年最低水位ｍ； Ｑ（ｔ）为第ｔ年年开采量，１０６ｍ^３。

　　 从物理成因上分析容易得出，开采量对漏斗中心最低水位的影响为负相关，即开采量越大，漏斗中心水位越低，但回归方程中Ｑ（ｔ）的系数却为正值，显然是不合理的。尽管式（５）经过显著性检验回归效果显著（复相关系数Ｒ＝０．９６９，相关系数临界值Ｒ０．０１＝０．６６２），但这样的模型是不符合实际的。

　　为什么回归系数会出现错误符号?理论分析^[５]和实践均表明，当设计阵Ｘ接近奇异时，正规方程组的唯一解虽然存在，但最小二乘估计的性能会变坏。Ｘ接近奇异，也就是Ｘ的列向量接近线性相关，这种自变量之间的近似线性关系，称为复共线关系，或复共线性。复共线关系的存在是回归系数错误符号的主要原因。

　　 判断设计阵复共线性关系的简便方法是计算自变量之间的相关系数。实例中ｈ（ｔ）与Ｑ（ｔ）的样本相关系数为－０．９０，有近似线性关系，也即设计阵Ｘ的列向量接近线性相关，这正是导致式（５）回归系数错误符号的原因。

　　 对于复共线关系存在且各自变量确实对倚变量均影响显著，则应该用其它回归方法，例如岭回归、残差绝对值准则回归等，不能将回归系数存在错误符号的回归方程应用于实际。

　　 ３　结语

　　 本文论述了水文计算中采用相关系数０．８作为相关是否密切的判别标准的来历和使用条件，指出此标准并不具备普遍意义。结合实例分析了导致回归系数错误符号的原因，给出了判断设计阵存在复共线性的简易方法。搞清这些对于正确使用最小二乘法回归计算，进行有效的数据分析，将具有重要的意义。

　　参考文献

　　?１?蒋金珠．工程水文及水利计算?Ｍ?．北京：水利电力出版社，１９９２．

　　 ?２?殷兆熊．水文水利计算?Ｍ?．北京：中国水利水电出版社，１９９４．

　　 ?３?王俊德．水文统计?Ｍ?．北京：水利水电力出版社，１９９３．

　　 ?４?费勤贵．水文统计学?Ｍ?．北京：水利电力出版社，１９９１．

　　 ?５?方开泰．实用回归分析?Ｍ?．北京：科学出版社，１９８８．