第五章 元线性回模型
第四章中讨解释变量影响解释变量情况实际生活中解释变量时影响着解释变量需建立元线性回模型
元线性模型假定
元线性回模型般形式
令列量x变量xkk12n观测值数组成n×K数矩阵X数情况X第列假定列1β1模型中常数项令yn观测值y1 y2 … yn组成列量现模型写：
构成元线性回模型组基假设
假定1
兴趣参数量β进行估计推断
假定2
假定3
假定4
假定X中包含ε信息
（1）
假定4暗示着
（1）式成立双变量XYE(XY)E(XE(Y|X))
暗示
假定5 X秩Kn×K机矩阵
意味着X列满秩X列线性关
需作假设检验统计推断时总假定：
假定6
二二回
1二量系数
采二法寻找未知参数β估计量求β估计满足面条件
（2）
中minm维量β取极值
（3）
满足（2）式（3）式估计量称β二估计种求估计量方法称二法（OLS）
展开式
值必条件
设b解b满足正方程组
正分析二正方程组X满秩逆存
解
证实确实值需二阶编分矩阵
正定矩阵
现证明结果意非零量c令
非元素0否q正零话X列线性组合等0X满秩假定相矛盾
三二估计量统计特性
节中回量两种情况非机回量机回量分作讨
1X非机回量
回量作非机进行处理时X作常数矩阵处理导出二估计量种特性
（4）
X非机（4）中第二项期值0二估计量偏协方差矩阵
前面容中K2特殊bβ方差线性偏估计量现出基结果更般证明令b线性偏估计量中CK×n矩阵偏
暗示着CXI协方差矩阵
现令假设知D≠0 非负定矩阵
展开四项式前注意
面项IDX0
方差矩阵等b方差矩阵加非负定矩阵二次型相应二次型
利结果证明高斯马尔科夫定理：
高斯—马尔科夫定理：
意常量w古典线性模型中方差线性偏估计量中b二估计量
2X机回量
样情况二估计量特性更般性必面结果推广解释变量X某种概率分布情况中获b统计特性方便方法首先第步求X条件期结果等非机回量情况第二步通条件分布条件结果点关键果意X条件偏性条件结果
观测X条件
方法利重期定律
假定4b条件偏样
样X条件b方差
求确切方差方差分解公式：
X第二项零
原结稍作改变必须期值E[(X′X)1]代原适协方差矩阵
段结果合逻辑建立高斯—马尔科夫定理
X定条件
等式特定X成立必须成立：
特定X成立定X均值成立暗示≤
否X作机偏性高斯—马尔科夫定理成立
四二估计量统计推断
迄止结果未ε正态性假定6假定构造假设检验统计量必须
1回系数假设检验
先讨X非机变量时情况
（4）中b干扰量ε线性函数果假定ε服重正态分布
利前面结果前边推导均值量协方差矩阵表示
重正态分布b元素边际分布正态分布：
令第k角元素
（5）
服标准正态分布统计推断基然估计（5）式中Zk统计量偏估计量作进步推断
定义二残差量
M回分析中基n×n矩阵容易验证M称(MM′)幂等（MM2）
性质1：X′e0i′e0
证明：正方程组：
i′e0
性质1证明程两推：
推1：MX0
推2：Mi0
推2成立X′第行（11…1）
性质2：eb互相关
解释性质显然e表示Y子样空间垂线估计量e互相垂直
性质3：残差e均值量协方差阵分
证明：
E(e)0暗示y偏估计量
性质4：
证明：二残差
MX0估计量基残差方：
二次型期值
M固定
M迹
偏估计量
（6）
回标准误差s2方根s利s2计算估计量b估计协方差矩阵：
通利s2代导出代（5）中zk统计量量
标准正态量幂等二次型服度秩（M）迹（M）n—Kx2分布（6）中x2分布变量独立（4）中标准正态变量证明点证明
（7a）
独立足够知道标准正态量x线性式Lx幂等二次型x′Ax独立充分条件LA0令等x发现里需求确实成立
推导回分析中许检验统计量中起中心作般性结果：
ε服正态分布二系数估计量b统计独立残差量e包括s2e函数
率
（7）
服度（n—K）t分布作统计推断基础
线性约束检验
通常含系数假设检验感兴趣利类似（7）中检验统计量假定假设
（通常某r零）左边样估计
显著异q推断样数假设致（7）样假设基式然
（7a）
需标准误差估计b线性函数已估计出b方差矩阵式估计方差
（7）中分母量方根假设正确估计应该反映事实少抽样变化性范围样前边t率绝值适监界值应假设产生怀疑
2机X正态ε检验统计量
现考虑X机样检验统计量推断方法考虑（7）中检验t统计量：
（8）
X条件t|X服度（n—K）t分布然感兴趣t边际（条件）分布正见（7a）仅仅X条件时b正态分布没证明边际分布正态分布类似X机情况定X条件（8）式t统计量没证明t边际分布（n－K）度t分布事实t边际分布（n—K）度t分布X分布什甚X机非机者混合
令迷惑结果f(t|X)X函数事实样原推演X机通常检验线性约束F率效
结：干扰项正态分布程中加变化进行检验构造参数置信区间考虑回量机非机混合
3拟合优度方差分析
方差分解公式：幂等矩阵M0表示：
进步研究回方SSR残差方SSE面三结：
a）β0假设条件回方服度K－1卡方分布x2(K－1)
b）残差方服度n－K卡方分布x2(n－K)
c）β0假设条件服F（k1n－k）分布
证明：a）M0－M幂等矩阵先证明M0M+MM02M
M0M+MM0
2M
β0假设条件服度K－1卡方分布x2(K－1)（什？）
b）M幂等矩阵
c）验证
事实
前章情况样回模型坏作出评价决定系数模型拟合度量计算R2两等价方法
决定系数
进步推导化解R2公式
M0ee（表示残差已具零均值）X′e0
第方法度量y总变差中回变差解释部分第二y观测值估计回方程产生预测值间相关系数方
利R2较线性统计模型拟合度时存严重缺点值着解释变量增增克服缺点调整R2测度模型解释力调整R2记表达式
里偏估计量（思考：y服正态分布时偏估计量）着解释变量增值变甚取负值
SSR
回方差表达式请见元线性回模型方差分析表
表1 元线性回模型方差分析
源
度
均方
回
K－1
残差
n－K
s2
总
n－1
4回显著性检验
通常检验假定回方程作整体显著性常数项外常数0假设联合检验系数0重相关系数0假定检验基R2值统计量
服度K－1n－KF分布检验逻辑F统计量强加斜率0约束时拟合损失度量（R2全部）F假设拒绝
五预测
元回环境预测结果前章中讨质样假定希预测回量x0相应y0值
（ i1…n）
高斯—马尔科夫定理知
y0方差线性偏估计量
体预测（Individual Prediction）误差
（ i1…n）
估计预测方差
回含常数项等价表达式
中XX包含全1列K－1列表明前样区间宽度赖
x0元素数中心距离
y0置信区间式形成：
预测区间
均值预测（Mean Prediction）
均值预测预测值 考虑机干扰项
误差
估计预测方差
y0置信区间式形成：
预测区间
六分块回偏回
兴趣实际集中变量变量全集子集时设定元回模型普遍
变量变量全集子集解释解释变量需原模型中添加新解释变量进步完善模型例考虑收入方程然兴趣收入教育联系年龄包括进模型必已证实方程忽略年龄错误里考虑问题元回模型中单独获取子集变量系数涉什样计算例获取前边回中教育系数
般术语假定原回模型现原模型中添加新解释变量集X1现回方程包括两组变量转换
代数解什？原估计量关系？
新模型正方程组
（1a）
（2a）
利分块逆矩阵
外方法直接处理（1a）（2a）求解首先（1a）求解
（9）
（注意解表明回系数减修正量）然代入（2a）
整理项
解
（10）
注意出现中括号中括号里矩阵讨残差制造者里相应列回样残差矩阵中列中相应列中变量回残差量利样幂等事实（10）重写
（11）
中
回系数集合回解释变量单独回残差解释变量列分回残差集合程通常称作排筛掉影响正部分原元回中系数通常称作偏回系数
例子说通首先收入教育年龄（年龄年龄中方）回然简单回中两残差够教育二回中系数方法典应中费雪沃（1933）注意时间序列环境刚提样首先通筛掉时间影响消数趋势然消趋势数简单回直接带时间趋势变量似合结果样
1偏回偏相关系数
元回包含实际中实施概念性试验类似济学中假设余情况均继续考虑简介中例子收入年龄教育相联系回方程够两龄教育程度收入进行较样中没样术语偏回系数暗示正回特性已获取结果方法首先收入教育年龄进行回然回方程中计算出残差构造年龄解释残差没力种净化（筛掉年龄影响）收入教育间相关年龄关
原理应两变量间相关系数继续例子样中收入教育间相关数 07时种程度假定相关某种直接关系非变老时收入教育均说趋增长事实？找出答案偏相关系数偏回系数计算方式样例子中抑制年龄影响收入教育间偏相关系数获取：
1收入年龄回中残差
2教育年龄回中残差
3偏相关系数间简单相关系数
似怕计算量然存方便简捷算法旦计算元回（7）中检验系数等0率计算
（12）
2均值离差——常数回
作节结果应考虑仅中1组成第列种情况时解带常数项回中斜率令1构成列变量回系数拟合值残差应先前结果时会发现：数转换成均值离差然离差形式变量样离差形式解释变量
回含常数项元回中斜率
练：计算斜率前忽略转换离差前边回中会发生什情况？
系数取系数？然方法转换角色重复节中练更容易方法般情形两正方程组中第
已解出求解时：
（13）
仅列（13）中第产生结果
（14）
前已见
七偏离正态性检测（正态性哈尔克贝拉（JarqueBera）BJ检验）
节考察利二残差矩推断真正扰动项分布般问题
直观估计量
然二残差真实扰动项完全估计：
样越估计越时称逐点致性出残差样收敛真正扰动项样意味着
致估计量
致估计量
通常运列公式计算偏度（Skewness）：
（15）
称概率密度函数三阶矩零样概率密度函数偏度零重例子正态分布果偏度值正概率密度正偏右偏果值负概率密度负偏左偏
通常运列公式计算峰态（Kurtosis）：
（16）
概率密度峰度3时成低峰态（胖短尾）峰度3时称尖峰态（瘦长尾）见图1正态分布峰度3样概率密度函数称常峰态
样偏度样峰度
根式（15）式（16）样三阶矩四阶矩计算样偏度峰度样三阶矩（样方差计算公式相）：
（17）
样四阶矩：
（18）
前述容设计正态性检验正态分布称常峰态称意味着三阶矩0分布称性标准量偏态（Skewness）
峰态（Kurtosis）分布尾部厚度度量度量
正态分布度量通常评价标准常峰态值正态分布峰度等3通较偏度否0峰度否3判断该分布否正态分布实际中通常度量量程度（
degree of excess）工具沃尔德统计量正态性假设检验统计量
～
称正态性哈尔克贝拉（JarqueBera）BJ检验
渐服度2分布参数行估计量利二残差计算统计量参考标准表
贝拉哈尔克（19801980）推导检验统计量皮尔逊分布容中作拉格朗日数检验应该注意检验质建设性非正态性发现定出步做建议样注意拒绝正态性没确认正态性称性常峰态检验
图1
思考题
1线性统计模型
假设化误差方线性方程组
（1）方程组写成矩阵形式利矩阵方法求二估计量b值
（2）果偏估计量s2值
（3）求b协方差矩阵
(4) 分写出够检验t统计量（k123）
（5）写出够检验t统计量F统计量
2假设by关X回二估计量cK×1量证明两残差方差
证明差值正
3假设参数两相互独立偏估计量方差分什样线性组合方差偏估计量？
4假设参数n相互独立偏估计量……方差分什样线性组合方差偏估计量？
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
第四章中讨解释变量影响解释变量情况实际生活中解释变量时影响着解释变量需建立元线性回模型
元线性模型假定
元线性回模型般形式
令列量x变量xkk12n观测值数组成n×K数矩阵X数情况X第列假定列1β1模型中常数项令yn观测值y1 y2 … yn组成列量现模型写：
构成元线性回模型组基假设
假定1
兴趣参数量β进行估计推断
假定2
假定3
假定4
假定X中包含ε信息
（1）
假定4暗示着
（1）式成立双变量XYE(XY)E(XE(Y|X))
暗示
假定5 X秩Kn×K机矩阵
意味着X列满秩X列线性关
需作假设检验统计推断时总假定：
假定6
二二回
1二量系数
采二法寻找未知参数β估计量求β估计满足面条件
（2）
中minm维量β取极值
（3）
满足（2）式（3）式估计量称β二估计种求估计量方法称二法（OLS）
展开式
值必条件
设b解b满足正方程组
正分析二正方程组X满秩逆存
解
证实确实值需二阶编分矩阵
正定矩阵
现证明结果意非零量c令
非元素0否q正零话X列线性组合等0X满秩假定相矛盾
三二估计量统计特性
节中回量两种情况非机回量机回量分作讨
1X非机回量
回量作非机进行处理时X作常数矩阵处理导出二估计量种特性
（4）
X非机（4）中第二项期值0二估计量偏协方差矩阵
前面容中K2特殊bβ方差线性偏估计量现出基结果更般证明令b线性偏估计量中CK×n矩阵偏
暗示着CXI协方差矩阵
现令假设知D≠0 非负定矩阵
展开四项式前注意
面项IDX0
方差矩阵等b方差矩阵加非负定矩阵二次型相应二次型
利结果证明高斯马尔科夫定理：
高斯—马尔科夫定理：
意常量w古典线性模型中方差线性偏估计量中b二估计量
2X机回量
样情况二估计量特性更般性必面结果推广解释变量X某种概率分布情况中获b统计特性方便方法首先第步求X条件期结果等非机回量情况第二步通条件分布条件结果点关键果意X条件偏性条件结果
观测X条件
方法利重期定律
假定4b条件偏样
样X条件b方差
求确切方差方差分解公式：
X第二项零
原结稍作改变必须期值E[(X′X)1]代原适协方差矩阵
段结果合逻辑建立高斯—马尔科夫定理
X定条件
等式特定X成立必须成立：
特定X成立定X均值成立暗示≤
否X作机偏性高斯—马尔科夫定理成立
四二估计量统计推断
迄止结果未ε正态性假定6假定构造假设检验统计量必须
1回系数假设检验
先讨X非机变量时情况
（4）中b干扰量ε线性函数果假定ε服重正态分布
利前面结果前边推导均值量协方差矩阵表示
重正态分布b元素边际分布正态分布：
令第k角元素
（5）
服标准正态分布统计推断基然估计（5）式中Zk统计量偏估计量作进步推断
定义二残差量
M回分析中基n×n矩阵容易验证M称(MM′)幂等（MM2）
性质1：X′e0i′e0
证明：正方程组：
i′e0
性质1证明程两推：
推1：MX0
推2：Mi0
推2成立X′第行（11…1）
性质2：eb互相关
解释性质显然e表示Y子样空间垂线估计量e互相垂直
性质3：残差e均值量协方差阵分
证明：
E(e)0暗示y偏估计量
性质4：
证明：二残差
MX0估计量基残差方：
二次型期值
M固定
M迹
偏估计量
（6）
回标准误差s2方根s利s2计算估计量b估计协方差矩阵：
通利s2代导出代（5）中zk统计量量
标准正态量幂等二次型服度秩（M）迹（M）n—Kx2分布（6）中x2分布变量独立（4）中标准正态变量证明点证明
（7a）
独立足够知道标准正态量x线性式Lx幂等二次型x′Ax独立充分条件LA0令等x发现里需求确实成立
推导回分析中许检验统计量中起中心作般性结果：
ε服正态分布二系数估计量b统计独立残差量e包括s2e函数
率
（7）
服度（n—K）t分布作统计推断基础
线性约束检验
通常含系数假设检验感兴趣利类似（7）中检验统计量假定假设
（通常某r零）左边样估计
显著异q推断样数假设致（7）样假设基式然
（7a）
需标准误差估计b线性函数已估计出b方差矩阵式估计方差
（7）中分母量方根假设正确估计应该反映事实少抽样变化性范围样前边t率绝值适监界值应假设产生怀疑
2机X正态ε检验统计量
现考虑X机样检验统计量推断方法考虑（7）中检验t统计量：
（8）
X条件t|X服度（n—K）t分布然感兴趣t边际（条件）分布正见（7a）仅仅X条件时b正态分布没证明边际分布正态分布类似X机情况定X条件（8）式t统计量没证明t边际分布（n－K）度t分布事实t边际分布（n—K）度t分布X分布什甚X机非机者混合
令迷惑结果f(t|X)X函数事实样原推演X机通常检验线性约束F率效
结：干扰项正态分布程中加变化进行检验构造参数置信区间考虑回量机非机混合
3拟合优度方差分析
方差分解公式：幂等矩阵M0表示：
进步研究回方SSR残差方SSE面三结：
a）β0假设条件回方服度K－1卡方分布x2(K－1)
b）残差方服度n－K卡方分布x2(n－K)
c）β0假设条件服F（k1n－k）分布
证明：a）M0－M幂等矩阵先证明M0M+MM02M
M0M+MM0
2M
β0假设条件服度K－1卡方分布x2(K－1)（什？）
b）M幂等矩阵
c）验证
事实
前章情况样回模型坏作出评价决定系数模型拟合度量计算R2两等价方法
决定系数
进步推导化解R2公式
M0ee（表示残差已具零均值）X′e0
第方法度量y总变差中回变差解释部分第二y观测值估计回方程产生预测值间相关系数方
利R2较线性统计模型拟合度时存严重缺点值着解释变量增增克服缺点调整R2测度模型解释力调整R2记表达式
里偏估计量（思考：y服正态分布时偏估计量）着解释变量增值变甚取负值
SSR
回方差表达式请见元线性回模型方差分析表
表1 元线性回模型方差分析
源
度
均方
回
K－1
残差
n－K
s2
总
n－1
4回显著性检验
通常检验假定回方程作整体显著性常数项外常数0假设联合检验系数0重相关系数0假定检验基R2值统计量
服度K－1n－KF分布检验逻辑F统计量强加斜率0约束时拟合损失度量（R2全部）F假设拒绝
五预测
元回环境预测结果前章中讨质样假定希预测回量x0相应y0值
（ i1…n）
高斯—马尔科夫定理知
y0方差线性偏估计量
体预测（Individual Prediction）误差
（ i1…n）
估计预测方差
回含常数项等价表达式
中XX包含全1列K－1列表明前样区间宽度赖
x0元素数中心距离
y0置信区间式形成：
预测区间
均值预测（Mean Prediction）
均值预测预测值 考虑机干扰项
误差
估计预测方差
y0置信区间式形成：
预测区间
六分块回偏回
兴趣实际集中变量变量全集子集时设定元回模型普遍
变量变量全集子集解释解释变量需原模型中添加新解释变量进步完善模型例考虑收入方程然兴趣收入教育联系年龄包括进模型必已证实方程忽略年龄错误里考虑问题元回模型中单独获取子集变量系数涉什样计算例获取前边回中教育系数
般术语假定原回模型现原模型中添加新解释变量集X1现回方程包括两组变量转换
代数解什？原估计量关系？
新模型正方程组
（1a）
（2a）
利分块逆矩阵
外方法直接处理（1a）（2a）求解首先（1a）求解
（9）
（注意解表明回系数减修正量）然代入（2a）
整理项
解
（10）
注意出现中括号中括号里矩阵讨残差制造者里相应列回样残差矩阵中列中相应列中变量回残差量利样幂等事实（10）重写
（11）
中
回系数集合回解释变量单独回残差解释变量列分回残差集合程通常称作排筛掉影响正部分原元回中系数通常称作偏回系数
例子说通首先收入教育年龄（年龄年龄中方）回然简单回中两残差够教育二回中系数方法典应中费雪沃（1933）注意时间序列环境刚提样首先通筛掉时间影响消数趋势然消趋势数简单回直接带时间趋势变量似合结果样
1偏回偏相关系数
元回包含实际中实施概念性试验类似济学中假设余情况均继续考虑简介中例子收入年龄教育相联系回方程够两龄教育程度收入进行较样中没样术语偏回系数暗示正回特性已获取结果方法首先收入教育年龄进行回然回方程中计算出残差构造年龄解释残差没力种净化（筛掉年龄影响）收入教育间相关年龄关
原理应两变量间相关系数继续例子样中收入教育间相关数 07时种程度假定相关某种直接关系非变老时收入教育均说趋增长事实？找出答案偏相关系数偏回系数计算方式样例子中抑制年龄影响收入教育间偏相关系数获取：
1收入年龄回中残差
2教育年龄回中残差
3偏相关系数间简单相关系数
似怕计算量然存方便简捷算法旦计算元回（7）中检验系数等0率计算
（12）
2均值离差——常数回
作节结果应考虑仅中1组成第列种情况时解带常数项回中斜率令1构成列变量回系数拟合值残差应先前结果时会发现：数转换成均值离差然离差形式变量样离差形式解释变量
回含常数项元回中斜率
练：计算斜率前忽略转换离差前边回中会发生什情况？
系数取系数？然方法转换角色重复节中练更容易方法般情形两正方程组中第
已解出求解时：
（13）
仅列（13）中第产生结果
（14）
前已见
七偏离正态性检测（正态性哈尔克贝拉（JarqueBera）BJ检验）
节考察利二残差矩推断真正扰动项分布般问题
直观估计量
然二残差真实扰动项完全估计：
样越估计越时称逐点致性出残差样收敛真正扰动项样意味着
致估计量
致估计量
通常运列公式计算偏度（Skewness）：
（15）
称概率密度函数三阶矩零样概率密度函数偏度零重例子正态分布果偏度值正概率密度正偏右偏果值负概率密度负偏左偏
通常运列公式计算峰态（Kurtosis）：
（16）
概率密度峰度3时成低峰态（胖短尾）峰度3时称尖峰态（瘦长尾）见图1正态分布峰度3样概率密度函数称常峰态
样偏度样峰度
根式（15）式（16）样三阶矩四阶矩计算样偏度峰度样三阶矩（样方差计算公式相）：
（17）
样四阶矩：
（18）
前述容设计正态性检验正态分布称常峰态称意味着三阶矩0分布称性标准量偏态（Skewness）
峰态（Kurtosis）分布尾部厚度度量度量
正态分布度量通常评价标准常峰态值正态分布峰度等3通较偏度否0峰度否3判断该分布否正态分布实际中通常度量量程度（
degree of excess）工具沃尔德统计量正态性假设检验统计量
～
称正态性哈尔克贝拉（JarqueBera）BJ检验
渐服度2分布参数行估计量利二残差计算统计量参考标准表
贝拉哈尔克（19801980）推导检验统计量皮尔逊分布容中作拉格朗日数检验应该注意检验质建设性非正态性发现定出步做建议样注意拒绝正态性没确认正态性称性常峰态检验
图1
思考题
1线性统计模型
假设化误差方线性方程组
（1）方程组写成矩阵形式利矩阵方法求二估计量b值
（2）果偏估计量s2值
（3）求b协方差矩阵
(4) 分写出够检验t统计量（k123）
（5）写出够检验t统计量F统计量
2假设by关X回二估计量cK×1量证明两残差方差
证明差值正
3假设参数两相互独立偏估计量方差分什样线性组合方差偏估计量？
4假设参数n相互独立偏估计量……方差分什样线性组合方差偏估计量？
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
