nbhkdz.com冰点文库

回归分析(2013)1

时间:2015-05-05


研究生《数理统计》课程

回归分析
—元线性

问题的提出: 1. 空气污染度与人的寿命之间的关系? 2. 储蓄额与居民的收入之间的关系? 3. 城市里的人口与环境之间的关系? ……

回归分析基本原理 回归分析研究的主要对象是客观事物变量 间的关系,它是通过建立统计模型研究变量间 相关关系的密切程度、结构状态、模型预测的 一种有力工具。

模型
一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

矩阵的表达形式
? 1 x1 ? ? ? 1 x 2? X?? , ? ? ? ? 1 x n? ?

Y ? X? ? ε
? y1 ? ? ?1 ? ? ? ? ? y ?2 ? 2? ? ? Y? , ε? ? ? ? ? ? ? ? ? y ? n? ??n ?

例 在研究某市人均收入与储蓄额之间的关系 问题中,把人均年储蓄额记作 x(元),人均年 收入记作 y(元)。收集到1985——2010年26年 期间的样本数据 如下表。
年 人均储蓄额 (元) 人均 收 入 (元) 年 人均储蓄额 (元) 人均 收 入 (元) 1985 1986 92 711 124 894 1987 1988 156 176 1989 1990 235 316 1991 415 1754 2004 1992 1993 523 668 1994 1995 956 1337 3127 4052 1996 1997 1656 1908 4467 4920 2009 2010 1498 1767 6 7 1350 1475 7 5

1044 1323 2000 2001

1383 1570 2002 2003

1929 2397 2005 2006

1998 1999

2368 2959 3511 4252 5122 6059 6964
4957 5377 5472 5725 6360 7118 7973

2007 2008 1224 8033 9219 9978 7 1087 1226 8623 9399 6 9

画散点图如下:
y

x

图5.2.1 人均收入x与人均储蓄额y之间的数据散点图

从整体趋势来看,说明变量x 与 y之间具有明显的线性关系。

一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

主要任务: (1)参数估计; (2)模型检验; (3)预测。

1.参数估计
最小二乘法:
误差平方和:Q( ?0 , ?1 ) ? ? ? =? ( yi ? ?0 ? ?1 xi )2
i ?1 2 i i ?1 n n

? ,? ? )= min ( y ? ? ? ? x )2 Q( ? ? i 0 1i 0 1
?0 , ?1
i ?1

n

? Q( ? 0 , ?1 ) ? 0 ?? 0

n?0 ? ?1 ? xi ? ? yi
i ?1
n

n

n

i ?1
n

? Q( ?0 , ?1 ) ? 0 ??1

?0 ? xi ? ?1 ? xi2 ? ? xi yi
i ?1 i ?1 i ?1
n

n

正则方程

正则方程的解
? ? ? 1

? ( x ? x )( y ? y )
i ?1 i i

? (x ? x )
i ?1 i

n



2

? ? y?? ?x ? 0 1

lxy ? 简记为:?1 ? , lxx

? ?? ? x为经验回归方程 ? ?? 称y 0 1

? ? (XT X)?1 XT Y 最小二乘解的矩阵形式: ?
? 1 x1 ? ? y1 ? ? ? ? ? 1 x y2 ? 2? ? ? X? , Y? ? ? ? ? ? ? ? ? ? 1 xn ? ? yn ?
2 ? ,? ? ). 将最小二乘估计代入Q(?0 , ?1 )中,记SE ? Q(? 0 1

?i为残差。 称为残差平方和,称ei ? yi ? y
2 SE ? ? 参数? 的估计 ? n?2 2 2

2. 最小二乘估计的性质
(1)线性性

? ,? ? 是关于随机变量y (i ? 1,2,..., n)的线性函数 ? 0 1 i
? ? lxy ? 1 lxx
1 ? lxx ( xi ? x )( yi ? y ) ? 1 ? lxx i ?1
n
n

? (x ? x ) y
i ?1 i

n

i

n 1 ? ? ?0 ? y ? ?1 x = ? yi ? 1

n

i ?1

lxx

? (x ? x ) y x
i ?1 i i

(2)无偏性
?)? 1 E(? 1 lxx

1 ( xi ? x ) E ( yi ) ? ? lxx i ?1

n

? ( xi ? x )(?0 ? ?1xi ) ? ?1 1
i ?1

n

lxx

? ( x ? x )x
i ?1 i

n

i

? ?1

? ) ? E( y ) ? E(? ? )x E( ? 0 1

? ?0 ? ?1 x ? ?1 x ? ?0

2. 最小二乘估计的性质
? ,? ? 的方差 (3) ? 0 1

如果?1,
?)? 1 D(? 1 2 lxx

, ? n相互独立,且D? i ? ? 2 , 则
1 ? ( x ? x ) D ( y ) ? i i 2 lxx i ?1
2 n

? ( xi ? x )2? 2 ?
i ?1

n

1 2 ? lxx

1 x2 2 ? ) ? D( y ) ? x 2 D(? ? ) ? 2x cov( y, ? ? ) ? 1? 2 ? x2 1 ? 2 D(? 0 1 1 ? ( ? )? n lxx n lxx

(4)正态性
? ~N ( ? , ? 1 1

?2
lxx

)

2 x ? ~N ( ? ,( ? )? 2 ) ? 0 0 n lxx

1

? ,? ? )?? x ?2 cov( ? 0 1 lxx

? ? 1 ( x ? x )2 ? 2 ? ? ? ? ? ?0 ? ?1 x~N ? ?0 ? ?1 x, ? ? y ?? ? ? ? n l xx ? ? ? ?

2. 最小二乘估计的性质
? ,? ? 也是极大似然估计 (5) ? 0 1

L( y1 , y2 ,

, yn , ?0 , ?1 ) ? ? f ( yi , ?0 , ?1 ) ? ?
i ?1 i ?1

n

n

1 1 exp{? 2 ( yi ? ?0 ? ?1 xi )2 } 2? 2??

1 n ? 1 ? 2 ?? ? exp{? 2? 2 ? ( yi ? ?0 ? ?1 xi ) } i ?1 ? 2?? ?

n

max L( y1 , y2 ,
?0 , ?1

, yn , ? 0 , ?1 ) ? min ? ( yi ? ?0 ? ?1 xi )2
?0,?1
i ?1

n

(6)平方和分解公式
2 2 2 ST ? SR ? SE

其中S ? ? ( yi ? y )
2 T i ?1

n

2

?i ? y) S ? ?( y
2 R i ?1

n

2

?i )2 S ? ? ( yi ? y
2 E i ?1

n

2. 最小二乘估计的性质
(7) 性质
? ,? ? 与 S 2 独立; 1) ? 0 1 E
2 2 2) SE 与SR 独立;
2 SE 2

3)

?

~ ? 2 (n ? 2)

4) 当H 0成立时,

?

2 SR 2

~? 2 (1)

2. 最小二乘估计的性质
lxy ?2 ? 1. ?1 = ~ N ( ?1 , ) lxx lxx

1 x2 2 ? ? 2. ?0 ? y ? ?1 x ~ N (?0 , ( ? )? ) n lxx

? , y) ? 0 3. cov(? 1

? ,? ? ) ?? x ?2 4. cov(? 0 1 lxx 1 ( x ? x )2 2 ? ? ? ? ?0 ? ?1 x ~ N (?0 ? ?1 x, ( ? 5. y )? ) n lxx

2 2 2 6. ST ? SR ? SE

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

?Y ? ? 0 ? ?1 x1 ? ? ? 2 ? ~ N (0, ? ) ?

三种检验法:
(1)r检验法
R?
n

?(X
i ?1 i ?1

n

i

? X )(Yi ? Y )
n

?

lxy lxxl yy

2 2 ( X ? X ) ( Y ? Y ) ? i ? i i ?1

K0 ? {| r |? r? ( n ? 2)}

(2)t检验法

? l ? T ? 1 xx ~ t (n ? 2) ? ?

? ? K 0 ? ? t ? t ? (n ? 2) ? 1? ? 2 ?

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

2 2 2 ST ? SR ? SE

(3)F 检验法

2 SR F? 2 ~ F (1, n ? 2) S E / (n ? 2)

K0 ? ? f ? F1?? (1, n ? 2)?

计算 f 值的具体步骤:
2 ? 2l ; 1) SR ?? 1 xx
2 2) ST ? l yy
2 2 2 3) SE ? ST ? SR

4.预测
(1)点预测 (2)区间预测

在一定置信度下预测 参数Y0或者E(Y|X =x0 ) ? y0
结论:1)关于y0的置信度为1-?的置信区间: 其中
? ?? ?x , ?0 ? ? y 0 1 0
? ? s1 ( x0 ) t1?? (n ? 2), ?1 ( x0 ) ? ? 2
1

?0 ? ?1 ( x0 ) y

( x0 ? x )2 s1 ( x0 ) ? ? n lxx

2)关于Y0的置信度为1-?的置信区间: 其中
? ? s2 ( x0 )t1?? (n ? 2) ? 2 ( x0 ) ? ?
2

?0 ? ? 2 ( x0 ) y
1

( x0 ? x )2 s2 ( x0 ) ? 1 ? ? n lxx

一元线性回归

算 例1

在钢线碳含量对于电阻的效应研究中,得到以下 的数据:
碳含量 x(%) 0.1 0.3 0.4 0.55 0.7 0.8 0.95

电阻y (微欧) 15

18

19

21

22.6

23.8

26

需要计算: n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

1)求一元线性回归方程;

2)对线性回归模型进行检验;
3)求y在x0=0.85时置信度为0.95的预测区间;
? ?? ?x ? ?? 解: 1) y 0 1

n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

lxy 6.667 ? ?1 ? ? ? 12.556, lxx 0.531 ? ? y ?? ? x ? 13.953, ? 0 1 ? ? 13.953 ? 12.556 x y

2)对线性回归模型进行检验;
? ? 0, H : ? ? ?0 H0 : ? 1 1 1
?? 1. r lxy lxx ? l yy ? 0.996

r0.05 (5) ? 0.755
F0.95 (1,5) = 6.61

2 ? 2l ? SR 1 xx 2. F ? 2 ? ? 5 ? 662.94 2 ? S E / 5 l yy ? ?1 lxx

结论:拒绝H0,说明回归效果好。

3)求y在x0=0.85时置信度为0.95的预测区间;
2 SE 0.63 ? ?? ? ? 0.355 n?2 5

1 ( x0 ? x ) 2 1 (0.85 ? 0.543) 2 S ( x0 ) ? 1 ? ? ? 1? ? ? 1.3204 ? 1.1491 n lxx 7 0.531

? ? S ( x0 ) ? t0.975 (5) = 0.9895 ? ( x0 ) ? ?
?0 ? 13.953 ?12.556*0.85 ? 24.626 y

? 预测区间为: [23.637, 25.616]

一元线性回归

算 例2

为研究某市城市居民家庭人均年消费支出Y (百元)与人均 年可支配收人 X(百元)之间的关系,从2011年中国统计年鉴 上收集了1985-2010年26年的统计数据。试根据这些数据, ? 建立Y与X的样本回归直线; ? 进行模型检验; ? 预测当家庭人均年收入2万元时,家庭的人均年消费支出及 其置信度为95%的预测区间。

一元线性回归
年 人均可支配收入x(百元) 人均消费性支出y(百元) 年 1985 8.12 7.11 1998 1986 9.84 8.94 1999 58.28 1987 11.09 10.44 2000 61.76 1988 12.78 13.23 2001 65.72 1989 14.49 13.83 2002 72.38 1990 16.91 15.70 2003 80.94 1991 18.92 17.54 2004 92.21 1992 21.95 19.29 2005 1993 27.81 23.97 2006 1994 36.34 31.27 2007 1995 43.75 40.52 2008 1996 50.23 44.67 2009 1997 53.02 49.20 2010

人均可支配收入x(百元) 54.43

102.44 115.70 137.15 157.09 171.91 191.00

人均消费性支出y(百元)

49.57

53.77

54.72

57.25

63.60

71.18

79.73

86.23

93.99

108.76 122.69 135.07 147.55

y

x

图5.2.3 城镇居民人均年消费支出y与收入x之间的数据散点图

在excel平台上计算,工具栏里有“数据分析”,含有“回归”,按步骤输入数据。 计算结果:
SUMMARY OUTPUT 回归统计 Multiple R 0.997635 R Square 0.995276 Adjusted R 0.995079 Square 标准误差 2.8707 观测值 26

方差分析

df
回归分析 残差 总计

Significa nce F 1 41666.55 41666.55 5056.056 2E-29 24 197.7821 8.24092 25 41864.33

SS

MS

F

Coefficien 标准误差 ts Intercept 4.551596 0.901403 X Variable 1 0.771799 0.010854

t Stat 5.049459 71.10595

P-value 3.67E-05 2E-29

下限 95.0% 上限 95.0% 2.691192 0.749397 6.412 0.794201

? ? 4.5515 ? 0.7718 x y

预测
? ?? ? ? 2 ? 4.5516 ? 0.7718? 200 ? 158.9115 (百元) ?0 ? ? 当x0 ? 2万元时, y 0 1 ?0 ? ?2 ( x0 ), y ?0 ? ?2 ( x0 ) ? 其中? 2 ( x0 ) ? ? 预测区间: ? y ? ? s2 ( x0 )t1?? (n ? 2)
2

2 SE ?= ? ? 2.8707 n?2

1 ( x0 ? x ) 2 1 (200 ? 64.86)2 s2 ( x0 ) ? 1 ? ? ? 1? ? ? 1.14 n lxx 26 69948.55

t1?? 2 (n ? 2) ? t0.975 (24) ? 2.064

(152.157, 165.666)

6.

yi ? ?0 ? ?1 ( xi ? x ) ? ? i

? i ~ N (0, ? 2 )

(i ? 1, 2,..., n)

写出矩阵形式:

? y1 ? ?1 x1 ? x ? ? ?1 ? ? ? ? ? ? ? y 1 x ? x ? ? ? 2 ? 2??? ? 0 ? ??2 ? ? ? ? ? ? ? ?? ? ? 1? ? ? ? ? ? ? y 1 x ? x n ? n? ? ? ??n ?
n ? ? yi ? ? ? ? y i ?1 ? ? ? ? lxy ? n ? ? ? ? ? ( xi ? x ) yi ? ? lxx ? i ?1 ?

? ? ?n ?? 0 ? ??? ?? ? ? ? 0 ? 1? ? ?

? ? n 2? ( x ? x ) ? i ? i ?1 ? 0

?1

? ? ? ? ?


赞助商链接

2013.1.1统计计算题参考答案

2013.1.1统计计算题参考答案_经济学_高等教育_教育专区。分配数列 1.根据所给...0.1374 即?0.5626 , 0.8374 相关与回归分析 计算相关系数、建立回归方程并...

1.1.1回归分析(第1课时)教案)

2、两个变量的线性相关 (1)回归分析 对具有相关关系的两个变量进行统计分析的方法叫回归分析。通俗地讲,回归分析是寻 找相关关系中非确定关系的某种确定性。 (2...

第1章 1.1 回归分析(一)(补课资料)

11.1 回归分析(一)(补课资料)_高二数学_数学_高中教育_教育专区。回归分析,补课适用 § 1.1 回归分析(一) 课时目标 1.掌握建立线性回归模型的步骤.2...

回归分析1

课题:回归分析的初步应用一、教学目标 a) 知识与技能 *能根据散点分布特点,建立...现在就登录>> 你可能喜欢©2013 Baidu 使用百度前必读 | 文库协议...

回归分析作业1

回归分析作业1 应用回归分析 何晓群 课后作业2.15题 利用matlab软件做的应用回归...现在就登录>> 你可能喜欢©2013 Baidu 使用百度前必读 | 文库协议...

第二章 回归分析概要1(一元概念)

第二章 回归分析概要 第一节 概念 回归分析的概念 回归分析是处理变量与变量之间关系的一种数学方法。 回归一词最早由加尔顿(Galton)引入。在一篇著名的论文...

回归分析1.1练习题

回归分析1.1练习题_高二数学_数学_高中教育_教育专区。回归分析的基本思想及其初步应用训练卷 一、选择题: 1.相关系数度量 () A.两个变量之间线性相关关系的...

2013年高考数学全国卷1(完整试题+答案+解析)

2013年高考数学全国卷1(完整试题+答案+解析)_高考_高中教育_教育专区。绝密★...,规定由线性回归方程得到的估计数据与所选出的检验数据的误差 13 26 均不超过...

1.1回归分析的基本思想及其初步应用

1.1回归分析的基本思想及其初步应用_数学_高中教育_教育专区。高二数学导学案 编制人: 审核人: 班级: 小组: 姓名: 等级: §.1.1 回归分析的基本思想及其初步...

...统计学《相关与回归分析》课后习题答案(2013统计学...

(2)用恰当的回归方程加以表述。 (3)当使用年数在 11 年时,这种机械设备的年维修费用估计是多少? (4)分析两个变量之间的密切程度。 解: (1)是正相关的...