nbhkdz.com冰点文库

回归分析(2013)1

时间:2015-05-05


研究生《数理统计》课程

回归分析
—元线性

问题的提出: 1. 空气污染度与人的寿命之间的关系? 2. 储蓄额与居民的收入之间的关系? 3. 城市里的人口与环境之间的关系? ……

回归分析基本原理 回归分析研究的主要对象是客观事物变量 间的关系,它是通过建立统计模型研究变量间 相关关系的密切程度、结构

状态、模型预测的 一种有力工具。

模型
一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

矩阵的表达形式
? 1 x1 ? ? ? 1 x 2? X?? , ? ? ? ? 1 x n? ?

Y ? X? ? ε
? y1 ? ? ?1 ? ? ? ? ? y ?2 ? 2? ? ? Y? , ε? ? ? ? ? ? ? ? ? y ? n? ??n ?

例 在研究某市人均收入与储蓄额之间的关系 问题中,把人均年储蓄额记作 x(元),人均年 收入记作 y(元)。收集到1985——2010年26年 期间的样本数据 如下表。
年 人均储蓄额 (元) 人均 收 入 (元) 年 人均储蓄额 (元) 人均 收 入 (元) 1985 1986 92 711 124 894 1987 1988 156 176 1989 1990 235 316 1991 415 1754 2004 1992 1993 523 668 1994 1995 956 1337 3127 4052 1996 1997 1656 1908 4467 4920 2009 2010 1498 1767 6 7 1350 1475 7 5

1044 1323 2000 2001

1383 1570 2002 2003

1929 2397 2005 2006

1998 1999

2368 2959 3511 4252 5122 6059 6964
4957 5377 5472 5725 6360 7118 7973

2007 2008 1224 8033 9219 9978 7 1087 1226 8623 9399 6 9

画散点图如下:
y

x

图5.2.1 人均收入x与人均储蓄额y之间的数据散点图

从整体趋势来看,说明变量x 与 y之间具有明显的线性关系。

一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

主要任务: (1)参数估计; (2)模型检验; (3)预测。

1.参数估计
最小二乘法:
误差平方和:Q( ?0 , ?1 ) ? ? ? =? ( yi ? ?0 ? ?1 xi )2
i ?1 2 i i ?1 n n

? ,? ? )= min ( y ? ? ? ? x )2 Q( ? ? i 0 1i 0 1
?0 , ?1
i ?1

n

? Q( ? 0 , ?1 ) ? 0 ?? 0

n?0 ? ?1 ? xi ? ? yi
i ?1
n

n

n

i ?1
n

? Q( ?0 , ?1 ) ? 0 ??1

?0 ? xi ? ?1 ? xi2 ? ? xi yi
i ?1 i ?1 i ?1
n

n

正则方程

正则方程的解
? ? ? 1

? ( x ? x )( y ? y )
i ?1 i i

? (x ? x )
i ?1 i

n



2

? ? y?? ?x ? 0 1

lxy ? 简记为:?1 ? , lxx

? ?? ? x为经验回归方程 ? ?? 称y 0 1

? ? (XT X)?1 XT Y 最小二乘解的矩阵形式: ?
? 1 x1 ? ? y1 ? ? ? ? ? 1 x y2 ? 2? ? ? X? , Y? ? ? ? ? ? ? ? ? ? 1 xn ? ? yn ?
2 ? ,? ? ). 将最小二乘估计代入Q(?0 , ?1 )中,记SE ? Q(? 0 1

?i为残差。 称为残差平方和,称ei ? yi ? y
2 SE ? ? 参数? 的估计 ? n?2 2 2

2. 最小二乘估计的性质
(1)线性性

? ,? ? 是关于随机变量y (i ? 1,2,..., n)的线性函数 ? 0 1 i
? ? lxy ? 1 lxx
1 ? lxx ( xi ? x )( yi ? y ) ? 1 ? lxx i ?1
n
n

? (x ? x ) y
i ?1 i

n

i

n 1 ? ? ?0 ? y ? ?1 x = ? yi ? 1

n

i ?1

lxx

? (x ? x ) y x
i ?1 i i

(2)无偏性
?)? 1 E(? 1 lxx

1 ( xi ? x ) E ( yi ) ? ? lxx i ?1

n

? ( xi ? x )(?0 ? ?1xi ) ? ?1 1
i ?1

n

lxx

? ( x ? x )x
i ?1 i

n

i

? ?1

? ) ? E( y ) ? E(? ? )x E( ? 0 1

? ?0 ? ?1 x ? ?1 x ? ?0

2. 最小二乘估计的性质
? ,? ? 的方差 (3) ? 0 1

如果?1,
?)? 1 D(? 1 2 lxx

, ? n相互独立,且D? i ? ? 2 , 则
1 ? ( x ? x ) D ( y ) ? i i 2 lxx i ?1
2 n

? ( xi ? x )2? 2 ?
i ?1

n

1 2 ? lxx

1 x2 2 ? ) ? D( y ) ? x 2 D(? ? ) ? 2x cov( y, ? ? ) ? 1? 2 ? x2 1 ? 2 D(? 0 1 1 ? ( ? )? n lxx n lxx

(4)正态性
? ~N ( ? , ? 1 1

?2
lxx

)

2 x ? ~N ( ? ,( ? )? 2 ) ? 0 0 n lxx

1

? ,? ? )?? x ?2 cov( ? 0 1 lxx

? ? 1 ( x ? x )2 ? 2 ? ? ? ? ? ?0 ? ?1 x~N ? ?0 ? ?1 x, ? ? y ?? ? ? ? n l xx ? ? ? ?

2. 最小二乘估计的性质
? ,? ? 也是极大似然估计 (5) ? 0 1

L( y1 , y2 ,

, yn , ?0 , ?1 ) ? ? f ( yi , ?0 , ?1 ) ? ?
i ?1 i ?1

n

n

1 1 exp{? 2 ( yi ? ?0 ? ?1 xi )2 } 2? 2??

1 n ? 1 ? 2 ?? ? exp{? 2? 2 ? ( yi ? ?0 ? ?1 xi ) } i ?1 ? 2?? ?

n

max L( y1 , y2 ,
?0 , ?1

, yn , ? 0 , ?1 ) ? min ? ( yi ? ?0 ? ?1 xi )2
?0,?1
i ?1

n

(6)平方和分解公式
2 2 2 ST ? SR ? SE

其中S ? ? ( yi ? y )
2 T i ?1

n

2

?i ? y) S ? ?( y
2 R i ?1

n

2

?i )2 S ? ? ( yi ? y
2 E i ?1

n

2. 最小二乘估计的性质
(7) 性质
? ,? ? 与 S 2 独立; 1) ? 0 1 E
2 2 2) SE 与SR 独立;
2 SE 2

3)

?

~ ? 2 (n ? 2)

4) 当H 0成立时,

?

2 SR 2

~? 2 (1)

2. 最小二乘估计的性质
lxy ?2 ? 1. ?1 = ~ N ( ?1 , ) lxx lxx

1 x2 2 ? ? 2. ?0 ? y ? ?1 x ~ N (?0 , ( ? )? ) n lxx

? , y) ? 0 3. cov(? 1

? ,? ? ) ?? x ?2 4. cov(? 0 1 lxx 1 ( x ? x )2 2 ? ? ? ? ?0 ? ?1 x ~ N (?0 ? ?1 x, ( ? 5. y )? ) n lxx

2 2 2 6. ST ? SR ? SE

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

?Y ? ? 0 ? ?1 x1 ? ? ? 2 ? ~ N (0, ? ) ?

三种检验法:
(1)r检验法
R?
n

?(X
i ?1 i ?1

n

i

? X )(Yi ? Y )
n

?

lxy lxxl yy

2 2 ( X ? X ) ( Y ? Y ) ? i ? i i ?1

K0 ? {| r |? r? ( n ? 2)}

(2)t检验法

? l ? T ? 1 xx ~ t (n ? 2) ? ?

? ? K 0 ? ? t ? t ? (n ? 2) ? 1? ? 2 ?

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

2 2 2 ST ? SR ? SE

(3)F 检验法

2 SR F? 2 ~ F (1, n ? 2) S E / (n ? 2)

K0 ? ? f ? F1?? (1, n ? 2)?

计算 f 值的具体步骤:
2 ? 2l ; 1) SR ?? 1 xx
2 2) ST ? l yy
2 2 2 3) SE ? ST ? SR

4.预测
(1)点预测 (2)区间预测

在一定置信度下预测 参数Y0或者E(Y|X =x0 ) ? y0
结论:1)关于y0的置信度为1-?的置信区间: 其中
? ?? ?x , ?0 ? ? y 0 1 0
? ? s1 ( x0 ) t1?? (n ? 2), ?1 ( x0 ) ? ? 2
1

?0 ? ?1 ( x0 ) y

( x0 ? x )2 s1 ( x0 ) ? ? n lxx

2)关于Y0的置信度为1-?的置信区间: 其中
? ? s2 ( x0 )t1?? (n ? 2) ? 2 ( x0 ) ? ?
2

?0 ? ? 2 ( x0 ) y
1

( x0 ? x )2 s2 ( x0 ) ? 1 ? ? n lxx

一元线性回归

算 例1

在钢线碳含量对于电阻的效应研究中,得到以下 的数据:
碳含量 x(%) 0.1 0.3 0.4 0.55 0.7 0.8 0.95

电阻y (微欧) 15

18

19

21

22.6

23.8

26

需要计算: n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

1)求一元线性回归方程;

2)对线性回归模型进行检验;
3)求y在x0=0.85时置信度为0.95的预测区间;
? ?? ?x ? ?? 解: 1) y 0 1

n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

lxy 6.667 ? ?1 ? ? ? 12.556, lxx 0.531 ? ? y ?? ? x ? 13.953, ? 0 1 ? ? 13.953 ? 12.556 x y

2)对线性回归模型进行检验;
? ? 0, H : ? ? ?0 H0 : ? 1 1 1
?? 1. r lxy lxx ? l yy ? 0.996

r0.05 (5) ? 0.755
F0.95 (1,5) = 6.61

2 ? 2l ? SR 1 xx 2. F ? 2 ? ? 5 ? 662.94 2 ? S E / 5 l yy ? ?1 lxx

结论:拒绝H0,说明回归效果好。

3)求y在x0=0.85时置信度为0.95的预测区间;
2 SE 0.63 ? ?? ? ? 0.355 n?2 5

1 ( x0 ? x ) 2 1 (0.85 ? 0.543) 2 S ( x0 ) ? 1 ? ? ? 1? ? ? 1.3204 ? 1.1491 n lxx 7 0.531

? ? S ( x0 ) ? t0.975 (5) = 0.9895 ? ( x0 ) ? ?
?0 ? 13.953 ?12.556*0.85 ? 24.626 y

? 预测区间为: [23.637, 25.616]

一元线性回归

算 例2

为研究某市城市居民家庭人均年消费支出Y (百元)与人均 年可支配收人 X(百元)之间的关系,从2011年中国统计年鉴 上收集了1985-2010年26年的统计数据。试根据这些数据, ? 建立Y与X的样本回归直线; ? 进行模型检验; ? 预测当家庭人均年收入2万元时,家庭的人均年消费支出及 其置信度为95%的预测区间。

一元线性回归
年 人均可支配收入x(百元) 人均消费性支出y(百元) 年 1985 8.12 7.11 1998 1986 9.84 8.94 1999 58.28 1987 11.09 10.44 2000 61.76 1988 12.78 13.23 2001 65.72 1989 14.49 13.83 2002 72.38 1990 16.91 15.70 2003 80.94 1991 18.92 17.54 2004 92.21 1992 21.95 19.29 2005 1993 27.81 23.97 2006 1994 36.34 31.27 2007 1995 43.75 40.52 2008 1996 50.23 44.67 2009 1997 53.02 49.20 2010

人均可支配收入x(百元) 54.43

102.44 115.70 137.15 157.09 171.91 191.00

人均消费性支出y(百元)

49.57

53.77

54.72

57.25

63.60

71.18

79.73

86.23

93.99

108.76 122.69 135.07 147.55

y

x

图5.2.3 城镇居民人均年消费支出y与收入x之间的数据散点图

在excel平台上计算,工具栏里有“数据分析”,含有“回归”,按步骤输入数据。 计算结果:
SUMMARY OUTPUT 回归统计 Multiple R 0.997635 R Square 0.995276 Adjusted R 0.995079 Square 标准误差 2.8707 观测值 26

方差分析

df
回归分析 残差 总计

Significa nce F 1 41666.55 41666.55 5056.056 2E-29 24 197.7821 8.24092 25 41864.33

SS

MS

F

Coefficien 标准误差 ts Intercept 4.551596 0.901403 X Variable 1 0.771799 0.010854

t Stat 5.049459 71.10595

P-value 3.67E-05 2E-29

下限 95.0% 上限 95.0% 2.691192 0.749397 6.412 0.794201

? ? 4.5515 ? 0.7718 x y

预测
? ?? ? ? 2 ? 4.5516 ? 0.7718? 200 ? 158.9115 (百元) ?0 ? ? 当x0 ? 2万元时, y 0 1 ?0 ? ?2 ( x0 ), y ?0 ? ?2 ( x0 ) ? 其中? 2 ( x0 ) ? ? 预测区间: ? y ? ? s2 ( x0 )t1?? (n ? 2)
2

2 SE ?= ? ? 2.8707 n?2

1 ( x0 ? x ) 2 1 (200 ? 64.86)2 s2 ( x0 ) ? 1 ? ? ? 1? ? ? 1.14 n lxx 26 69948.55

t1?? 2 (n ? 2) ? t0.975 (24) ? 2.064

(152.157, 165.666)

6.

yi ? ?0 ? ?1 ( xi ? x ) ? ? i

? i ~ N (0, ? 2 )

(i ? 1, 2,..., n)

写出矩阵形式:

? y1 ? ?1 x1 ? x ? ? ?1 ? ? ? ? ? ? ? y 1 x ? x ? ? ? 2 ? 2??? ? 0 ? ??2 ? ? ? ? ? ? ? ?? ? ? 1? ? ? ? ? ? ? y 1 x ? x n ? n? ? ? ??n ?
n ? ? yi ? ? ? ? y i ?1 ? ? ? ? lxy ? n ? ? ? ? ? ( xi ? x ) yi ? ? lxx ? i ?1 ?

? ? ?n ?? 0 ? ??? ?? ? ? ? 0 ? 1? ? ?

? ? n 2? ( x ? x ) ? i ? i ?1 ? 0

?1

? ? ? ? ?


回归分析第1章课后习题参考答案

举报文档 邓小懒贡献于2013-06-20 0.0分 (0人评价)暂无用户评价 我要评价...第一章 回归分析概述习题参考答案 1.1 变量间的统计关系和函数关系有什么区别?...

《回归分析》教案1

回归分析》教案1_高二数学_数学_高中教育_教育专区 暂无评价|0人阅读|0次下载《回归分析》教案1_高二数学_数学_高中教育_教育专区。《回归分析》教案1 【教学...

回归分析法(一元线性回归)

回归模型: 回归模型: 回归模型元回归 线性回归 非线性回归 多元回归 线性回归 非线性回归 回归分析步骤: 回归分析步骤: 1. 2. 3. 4. 根据自变量与因变量的...

《1.2回归分析》教学案1

1.2回归分析》教学案1_高二数学_数学_高中教育_教育专区。《1.2回归分析》教学案 【教学目标】 1.了解回归分析的基本思想方法及其简单应用. 2.会解释解释...

matlab回归分析

155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; (2)回归分析及检验...

(1)用Excel作一元线性回归分析

实验四(1) 用 Excel 作一元线性回归分析 实验名称:回归分析实验目的:学会应用软件实验一元线性回归,多元线性回归和非线性回归模型的 求解及应用模型解决相应地理...

(修改)计量经济学复习题,2013.10(1)

(修改)计量经济学复习题,2013.10(1)_理学_高等教育_教育专区。一、单项选择...变量应是非随机变量,且( A.与随机误差项不相关 16.回归分析中定义的( B.与...

回归分析与非参数检验 - 侯 (1)

了解 SPSS 非参数检验的具体操作,能够解 释分析结果。 实验内容、实验步骤、实验结果及分析、 线性回归分析 (一)9.5 粮食总产量 1.实验内容 先收集到若干年...

多项分类Logistic回归分析的功能与意义 (1)_图文

来进行二元 Logistic 回归分析,上图中的“0”表示没有拖欠贷款,“1”表示拖欠贷款,接下来,步骤如下: 1:设置随机抽样的随机种子,如下图所示: 选择“设置起点”...

(重点)一元线性回归分析

元线性回归分析 .变量之间的关系: 函数关系:确定性关系 相关关系:不确定性关系 相关关系的测度:散点图 线性相关关系的测度:相关系数 相关关系不等于因果关系 ...