当前位置:首页 >> 高中教育 >>

多元线性回归方法及其应用实例


第三章 多元线性回归模型

主要内容
? ? ? ?

多元线性回归模型的一般形式
参数估计( OLS估计) 假设检验 预测

一. 多元线性回归模型
? ? ?

问题的提出
解析形式

矩阵形式

问题的提出

r />?

现实生活中引起被解释变量变化的因素并非仅 只一个解释变量,可能有很多个解释变量。
例如,产出往往受各种投入要素——资本、劳 动、技术等的影响;销售额往往受价格和公司 对广告费的投入的影响等。 所以在一元线性模型的基础上,提出多元线性 模型——解释变量个数≥ 2

?

?

多元线性回归模型的假设
Y ? b0 ? b1 X 1 ? b2 X 2 ? ?? bk X k ? u
?

解释变量 Xi 是确定性变量,不是随机变量;解释变量 之间互不相关,即无多重共线性。 随机误差项具有0均值和同方差 随机误差项不存在序列相关关系 随机误差项与解释变量之间不相关 随机误差项服从0均值、同方差的正态分布

? ? ? ?

多元模型的解析表达式
Y ? b0 ? b1 X 1 ? b2 X 2 ? ? ? bk X k ? u n个样本观测值 (Yi , X 1i , X 2 i ,?, X ki ) i ? 1,2,?, n 得:Yi ? b0 ? b1 X 1i ? b2 X 2 i ? ? ? bk X ki ? ui
?Y1 ? b0 ? b1 X 11 ? b2 X 21 ? ? ? bk X k1 ? u1 ?Y ? b ? b X ? b X ? ? ? b X ? u ? 2 0 1 12 2 22 k k2 2 ? ??????? ? ?Yn ? b0 ? b1 X 1n ? b2 X 2 n ? ? ? bk X kn ? un

多元模型的矩阵表达式
? Y 1 ? ?1 ? ? ? ?Y 2 ? ?1 ? ? ? ? ?? ? ? ? ? ? ? ?Y n ? ?1

X X
?

11 12

X X
?

21 22

? ? ?

X

1n

X

2n

? b0 ? ? ? ? u1 ? X k1 ?? ? b1 ? ? ? X k2? ? ? ? ? u2 ? ? ?? b2 ? ? ? ? ?? ? ? ? ? ? ? X kn ? ?? b ? ? u n ? ? k?

Y ? XB ? U

矩阵形式
Y ? XB ? U ?Y 1 ? ? ? ? ? Y ? ?Y 2 ? ? ? ? ? ? ?Y n ? ? b0 ? ? ? ? b1 ? B ? ? b2 ? ? ? ? ? ? ? ? ? bk ? ?1 ? ?1 X ?? ?? ?1 ? ? u1 ? ? ? ? ? U ? ?u2 ? ? ? ? ? ? ?un ?

X X
?

11 12

X X
?

21 22

? ? ?

X X

X

1n

X

2n

? ? k2? ? ? ? X kn ? ?
k1

二. 参数估计(OLS)
? ? ?

参数值估计
参数估计量的性质 偏回归系数的含义

?
?

正规方程
样本容量问题

1.参数值估计(OLS)
Q ? ? ei ? ? yi ? y ?i
2 i ?1 i ?1 n n n

?

?

2

?0 ? b ?1 X 1i ??? b ?k X ki ? ? Yi? b
i ?1

? ?

??

2

? ?Q ?0 ? ?b ? ? 0 ? ?Q ? ? ?0 ? ?b1 ? ? ?Q ? ? ?0 ? ?b2 ????? ? ? ?Q ?0 ? ?b ? ? k ? ?

得到下列方程组

? ?Y ? ? ? ? ? X ? ? ? ? X ? 0 i b0 b1 1i bk ki ? ? ?Y i X 1i ? ? b ?0 ? b ?1 X 1i ? ? ? b ?k X ki X 1i ? 0 ? ??Y i X 2i ? ? ? ? ? X 1i ? ? ? ? X ki X 2i ? 0 b0 b1 bk ? ? ? ? ? ? ? ??? b ??? ?k X ki X ki ? 0 ? ? ?Y i xki ? b0 b1 X 1i

?

? ?

?

? ?

?

?

求参数估计值的实质是求一个k+1元方程组

正规方程
变成矩阵形式
? ?b ? X ?b ? X ??? b ? X ? Y ?nb ?i 0 1? 1i 2? 2i k? ki ? ? X ?b ? X 2 ?b ? X X ??? b ? X X ? XY ? ?b ? ? 1i i 0? 1i 1? 2 2 i 1 i k? ki 1i 1i ? ?????????? ?? ? X X ?b ? X X ??? b ? X2 ? X Y b X ? b ? ? ? ? ? ki i 0 ki 1 1 i ki 2 2 i ki k? ki ?

? n ? ? ? X 1i ? ? ? ? ?? X ki

?X ?X

1i 2 1i

?X ?X X
2i 2i

1i

? ? X 1i X ki

? ? X 2i X ki

? ? ? ?

?? ?b 0 ? X Yi ? ? ? ki ? ? ? ? ? ?b1 ? ? X Y ? X X ? ki 1i ? ?b ? ? ? ? ? 1i i ? ? ?? 2 ? ? ? ? ?? ? ? ? ? 2 ? X ki ? ?? ? ? ? ?? X kiYi ? ? b ? k?

正规方程
矩阵形式
? n ? X 1i ? ? X ?X ? ? ? ? ? ?? X ki

?X ?X

1i 2 1i

?X ?X X
2i 2i

1i

? ? X 1i X ki

? ? X 2i X ki

? ? ? ?

?X ? ? X X ? ?
ki ki 1i

? 2 X ? ki

? ? ? ?

?? ?b 0 ? ? ?? ?b 1 ? ? ?b ?? B ? 2? ??? ?? ? ?bk ?

? ? Yi ? ? ? X Y ? 1i i ? X ?Y ? ? ? ? ? ? ? ? ?? X kiYi ? ?

? ? X ?Y X ?XB ? ? ( X ?X ) ?1 X ?Y B

最小二乘法的矩阵表示
? ? XB ? Y
n 2 i ?1

Y ? XB ? U
n i ?1

Q ? ? ei ? ? yi ? y ?i

?

?

U ~ N (0,? )
2

2

? ? Y ? XB ? E ? Y ?Y

? )?(Y ? XB ?) ? e?e ? (Y ? XB ? ?X ?)(Y ? XB ?) Q ? (Y ? ? B ??B ? ?X ? ? ?X ? ?) ? ( Y ?Y ? Y ?XB Y ?B XB ? ?X ? ? ?X ?XB ? ? Y ?Y ? 2 B Y ?B ?Q ?0 ? ?B ? ?0 ? X? Y ? X? XB ??B ? ?X ? 为什么Y ?XB Y?

?1 ? ?? X? B X ? X? Y

? ?

2

?

e?e n ? k ?1

2.1最小二乘估计量的性质
? ? ?

(1)线性(估计量都是被解释变量观测值的线性组合)
(2)无偏性(估计量的数学期望=被估计的真值) (3)有效性(估计量的方差是所有线性无偏估计中最 小的)

结论:在古典假定下, OLS估计式? 是最佳线性 无偏估计(BLUE)

?

OLS估计量的性质(续)
( 4)在古典假定下, ? j ~ N ( ? j , Var ( ? j )), j ? 1,2,...,k
?1 其中,Var ( ? j ) ? ? 2 c jj , c jj是(X ' X) 中对角线上第j ? ? ?

个元素。 (ui正态, Y是ui的线性函数 ? Y正态,又 ? 是Y的线性函数 ? ? j 正态)
? ? j

线性
?1 ? B ? ( X ?X ) X ?Y

无偏性
?1 ? E ( B) ? E[( X ?X ) X ?Y ]

? E[( X ?X ) X ?( XB ? N )]
?1

? E[( X ?X ) X ?XB ? ( X ?X ) X ?N ]
?1 ?1 ?1 ? ? B ? ( X X ) E ( X ?N )

?B

有效性
回忆:Cov( x) ? E ( x ? E ( x) ) ? ) ? E[(B ? ? E(B ? )(B ? ? E(B ? ))?] Cov( B ? ? B)(B ? ? B)?] ? E[(B
2 ?1 ?1 ?1 ( k ? 1) ? ( k ? 1)

? E[((X ?X ) X ?Y ? B)((X ?X ) X ?Y ? B)?] ? E[((X ?X ) X ?( XB ? N ) ? B)((X ?X ) X ?( XB ? N ) ? B)?]
?1

? E[( X ?X ) X ?NN ?X ( X ?X ) ]
?1 ?1 ?1 ?1 ? ( X ?X ) X ?E ( NN ?) X ( X ?X )

? E ( NN ?)( X ?X ) X ?X ( X ?X )
?1 ?1 ? ? ( X ?X ) 2

?1

2.2 OLS回归线的性质
?

完全同一元情形:
Y ? ? 1 ? ? 2 X 2i ? ? 3 X 3i ... ? ? k X ki (2)估计值Y i 的均值等于实际观测值 Yi的均值 (3)剩余项(残差) ei的均值为0
? ? ? ? ?

(1 )回归线过样本均值

(4)应变量估计值Y i 与残差ei不相关; (5)解释变量X i与残差ei不相关

?

2.3 随机扰动项方差的估计
n?k 其中n为样本容量, k为待估参数个数。 (比较:一元情形: ? ?
?2 2 e ?i

扰动项的方差 ? 估计: ? ?
2

?2

2 e ?i

n?2

,待估参数有 2个)

注解:k与k+1
?

?

凡是按解释变量的个数为k的,那么共有k+1 个参数要估计。而按参数个数为k的,则实 际有k-1个解释变量。总之两者相差1而已! 要小心所用的k是什么意思! 所以如果本来是用解释变量个数的k表示的 要转换成参数个数的k则用k-1代换原来的k就 可以了!

3.偏回归系数的意义
? ?

多元回归模型中的回归系数称为偏回归系数
某解释变量前回归系数的含义是,在其他解释 变量保持不变的条件下,该变量变化一个单位, 被解释变量将平均发生偏回归系数大小的变动

4.正规方程
?

由最小二乘法得到的用以估计回归系数的线性 方程组,称为正规方程
? ?b ? X ?b ? X ??? b ? X ? Y ?nb ?i 0 1? 1i 2? 2i k? ki ? ? X ?b ? X 2 ?b ? X X ??? b ? X X ? XY ? ?b ? ? 1i i 0? 1i 1? 2 2 i 1 i k? ki 1i 1i ? ?????????? ?? ? X X ?b ? X X ??? b ? X2 ? X Y b X ? b ? ? ? ? ? ki i 0 ki 1 1 i ki 2 2 i ki k? ki ?

? ? X ?Y X ?XB

正规方程的结构
? ? ? ? ? ? ?

Y ——被解释变量观测值

n x1

X ——解释变量观测值(含虚拟变量n x (k+1) ) X`X ——设计矩阵(实对称(k+1) x (k+1)矩阵 ) X`Y ——正规方程右端 nx1

? B
? U

——回归系数矩阵( (k+1) x 1 ) ——残差向量( n x 1 )

1 高斯乘数矩阵, 设计矩阵的逆 ( X ?X )?——

?

? Y

——被解释变量的拟合(预测)向量 n x 1

5.多元回归模型参数估计中的样本容量问题
?

样本是一个重要的实际问题,模型依赖于实际 样本。
获取样本需要成本,企图通过样本容量的确定 减轻收集数据的困难。 最小样本容量:满足基本要求的样本容量

?

?

最小样本容量 n ≥ k+1
? ? ( X ?X )?1 X ?Y B
?

(X`X)-1存在?| X`X | ? 0 ? X`X 为k+1阶的满秩阵

?
? ?

R(AB) ≤ min(R(A),R(B))
R(X) ≥ k+1 因此,必须有n≥k+1

满足基本要求的样本容量
? ?

一般经验认为:
n ≥ 30或者n ≥ 3(k+1)才能满足模型估计的基本 要求。

?

n ≥ 3(k+1)时,t分布才稳定,检验才较为有效

第三节 多元线性回归模型的 检验
?

本节主要介绍:
? ?

?
?

3.1 3.2 3.3 3.4

拟合优度检验(判定系数及其校正) 回归参数的显著性检验(t-检验) 回归方程的显著性检验(F-检验) 拟合优度、t-检验、F-检验的关系

3.1.1 拟合优度检验 -总平方和、自由度的分解
? ?

目的:构造一个不含单位,可以相互比较, 而且能直观判断拟合优劣的指标。 类似于一元情形,先将多元线性回归作如下 平方和分解:

? (Yi ? Y )
TSS

2

? ? ?

2 ( Y ? Y ) ? ( Y ? Y ) ? i i ? i 2

?

?

RSS n-k

? ?

ESS k -1

总离差平方和 = 残差平方和 +回归平方和 自由度:n - 1

对以上自由度的分解的说明

3.1.2 判定系数 R
?

2

判定系数的定义:
RSS ESS TSS ? RSS ? ESS ? 1 ? ? TSS TSS ESS RSS 2 R ? TSS ? 1 ? TSS

?

?

意义:判定系数越大,自变量对因变量的解释 程度越高,自变量引起的变动占总变动的百分 比高。观察点在回归直线附近越密集。 取值范围:0-1

3.1.3 校正判定系数 R
?

2

为什么要校正?
?

? ?

判定系数随解释变量个数的增加而增大。易 造成错觉:要模型拟合得越好,就应增加解 释变量。然而增加解释变量会降低自由度, 减少可用的样本数。并且有时增加解释变量 是不必要的。 导致解释变量个数不同模型之间对比困难。 判定系数只涉及平方和,没有考虑自由度。

?

校正思路: 引进自由度校正所计算的平方和。

校正判定系数 R (续)
RSS /(n ? k ) R ? 1? TSS /(n ? 1)
2

2

校正判定系数和未校正 的判定系数的关系: 2 2 n ?1 (1) R ? 1 ? ( 1? R ) n?k (2) k ? 1时, R ? R 2 , 且随着解释变量的增加 两者的差距将越来越大 .也就是说校正的比 未校正的判定系数增加 得慢些! (3) 判定系数R 2非负(取值在 [0,1]) ; 但是, R 取值可能为负,这时规 定 R =0
2 2 2

3.2 回归参数的显著性检验 —— t-检验
先要找出回归系数的分 布,由前面知道:

? j ~ N ( ? j , ? 2c jj ),
?1 其中c jj为(X ' X) 的第j行第j列的元素。 ? ?2

?

将 ? j 标准化。一般有 ? 未知。用? 代替,
2

得统计量 t ?

? j??j ? c jj
?

?

~ t (n ? k )

以下可用t统计量来进行回归系数 的假设检验。

以下给出t-检验的具体过程
(1) 提出假设: H 0 : ? j ? 0 H1 : ? j ? 0 j ? 1,2,...,k (2) 根据样本计算t ?

? j? ?j ? c jj
?

?

?

? j? 0 ? c jj
?

?

?

?j ? c jj
?

?

(3) 给出显著水平?,查表,得临界值 t? / 2 (n ? k ) (4) 判断:若| t |? t? / 2 (n ? k ), 拒绝原假设,接受 备择假设。反之则反。

3.3 回归方程的显著性检验 ——(F-检验)
?

?

回归系数的t-检验,检验了各个解释 变量Xj单独对应变量Y是否显著;我们还 需要检验:所有解释变量联合在一起, 是否对应变量Y也显著? 这即是下面所要进行的F-检验。

3.3.1 方差分析表
以下用表格的形式列出平方和、自由度、方差
平方和 来源 源于回归 源于残差 平方和
ESS ? ? (Y i ? Y )
?

自由度
2

均方和
ESS /(k ? 1) RSS /(n ? k ) TSS /(n ? 1)

?

K-1
n-k

RSS ? ? (Yi ? Y i )

2

总平方和

TSS ? ? (Y i ? Y )

2

n-1

3.3.2 F-检验(单侧检验)
(1) H 0 : ? 2 ? ? 3 ? ... ? ? k ? 0 H1 : ? 2 , ? 3 ,...,? k 不全为0 (2)选择、(根据样本) 计算统计量 ESS /(k ? 1) F? ~ F (k ? 1, n ? k ) RSS /(n ? k ) (3)给出显著性水平 ?,查表,得F? (k ? 1, n ? k ); (4)判断:若F ? F? (k ? 1, n ? k ), 拒绝原假设, 接受备择假设 ,。反之则反。

3.4 各种检验之间的关系
?

3.4.1 经济意义检验和其他检验的关系联系: 判断一个回归模型是否正确,首先要看模 型是否具有合理的经济意义,其次才是统计检 验。

3.4.2 拟合优度和F-检验的关系
(1)都是对回归方程的显著性检验; (2)都是把总平方和分解,以构成统计量 进行检验; (3)两者同增同减,具有一致性。
在数量上,它们有如下 关系
2 n?k R2 n ?1 F? ? , R ? 1? 2 k ?1 1 ? R n ? k ? (k ? 1) F

拟合优度和F-检验的关系(续)
区别: (1)F-检验中使用的统计量有精确的分 布,而拟合优度检验没有; (2)对是否通过检验,判定系数(校正判 定系数)只能给出一个模糊的推测;而F 检验可以在给定显著水平下,给出统计 上的严格结论;
?

3.4.2 F-检验和t-检验的关系
?

在一元的情形,两者是一致的,等价的。 对单个解释变量显著性进行t检验,也就 检验了解释变量的整体显著性(F检验); 并且可以证明:F=t2 (所以在一元情形,只需要进行一种检验) ? 多元中,不存在以上关系。

回归模型假设检验的步骤
?

?

?

查看拟合优度,进行F检验,从整体上判断回归方程是 否成立,如果F检验通不过,无须进行下一步;否则进 行下一步 查看各个变量的t值及其相应的概率,进行t检验,如果 相应的概率小于给定的显著水平,该自变量的系数显 著地不为0,该自变量对因变量作用显著;否则系数与 0无显著差异(本质上=0),该自变量对因变量无显 著的作用,应从方程中删去,重新估计方程。 但是,一次只能将最不显著(相应概率最大)的删除。 每次删除一个,直至全部显著。

3.5多元线性回归模型的预测
?X ? ? ? ? ?X ? X ? ? ??? ? ? ? ¤? ? ? ? Y F 1 F1 k Fk F

? ? ? ? ? ¤? ? ? ?
? ? ? ? ? ? ? Y F ? ( X ?X ) ?1 X F t? / 2 (n ? k ) ? XF ? ? ° ? ? ? ?

举例:新股发行抑价的实证研究


相关文章:
浅谈多元线性回归模型及其应用
浅谈多元线性回归模型及其应用_经济学_高等教育_教育专区。盐城师范学院毕业论文(...根据最小二乘法的定义,在线性样本回归模型中,使残差平方和最小的回归 系数的...
多元线性回归模型及其应用
多元线性回归模型及其应用摘要多元线性回归研究一个因变量、与两个或两个以上...采用最小二乘法拟合一个多元线性回归模型,采用数学软 件 SRSS 计算出回归系数,...
多元线性回归分析方法的实例研究
多元线性回归分析方法的实例研究_理学_高等教育_教育专区 暂无评价|0人阅读|0次下载|举报文档 多元线性回归分析方法的实例研究_理学_高等教育_教育专区。自己亲手做...
多元线性回归实例分析
多元线性回归实例分析_计算机软件及应用_IT/计算机_专业资料。SPSS--回归-多元...3:采用其他方法拟合模型,如领回归法,逐步回归法,主成分分析法。 再点击“绘制...
多元线性回归程序案例与相应代码
多元线性回归程序案例与相应代码_计算机软件及应用_IT/计算机_专业资料。附件: ...用最小二乘法对模型求解: ? y1 ? ?y ? ? 2? ? y3 ? Y ? ? ?, ...
多元线性回归模型的简单运用
龙源期刊网 http://www.qikan.com.cn 多元线性回归模型的简单运用 作者:张诗琪 李思博 来源:《科教导刊· 电子版》2013 年第 15 期 摘要 近十几年,随着中国...
多元回归分析法的介绍及具体应用
回归分析的主要类 型:一元线性回归分析、多 多元回归分析法的介绍及具体应用在...多元线性回归分析案例 利用多元线性回归分析研究此后影响中国人口自然增长的主要原因...
多元线性回归模型案例分析
多元线性回归模型案例分析_计算机软件及应用_IT/计算机_专业资料。对于人口的多元...ut 三、估计参数 利用 EViews 估计模型的参数,方法是: 1、建立工作文件:启动 ...
多元线性回归分析在经济模型中的应用
龙源期刊网 http://www.qikan.com.cn 多元线性回归分析在经济模型中的应用 作者:张阿洁 鲁玉聪 来源:《武汉科技报· 科教论坛》2013 年第 10 期 【摘要】在...
多元线性回归分析案例
多元线性回归分析案例_计算机软件及应用_IT/计算机_专业资料。SPSS多元线性回归分析...自 变量方法选择:进入,个案标签使用地名,不使用权重最小二乘法回归分析—即 ...
更多相关标签:
多元线性回归实例 | 多元线性回归模型实例 | 多元线性回归分析实例 | 多元线性回归实际应用 | 多元线性回归的应用 | 多元线性回归应用条件 | 多元线性回归应用 | 多元线性回归 |