nbhkdz.com冰点文库

回归分析(2013)1


研究生《数理统计》课程

回归分析
—元线性

问题的提出: 1. 空气污染度与人的寿命之间的关系? 2. 储蓄额与居民的收入之间的关系? 3. 城市里的人口与环境之间的关系? ……

回归分析基本原理 回归分析研究的主要对象是客观事物变量 间的关系,它是通过建立统计模型研究变量间 相关关系的密切程度、结构

状态、模型预测的 一种有力工具。

模型
一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

矩阵的表达形式
? 1 x1 ? ? ? 1 x 2? X?? , ? ? ? ? 1 x n? ?

Y ? X? ? ε
? y1 ? ? ?1 ? ? ? ? ? y ?2 ? 2? ? ? Y? , ε? ? ? ? ? ? ? ? ? y ? n? ??n ?

例 在研究某市人均收入与储蓄额之间的关系 问题中,把人均年储蓄额记作 x(元),人均年 收入记作 y(元)。收集到1985——2010年26年 期间的样本数据 如下表。
年 人均储蓄额 (元) 人均 收 入 (元) 年 人均储蓄额 (元) 人均 收 入 (元) 1985 1986 92 711 124 894 1987 1988 156 176 1989 1990 235 316 1991 415 1754 2004 1992 1993 523 668 1994 1995 956 1337 3127 4052 1996 1997 1656 1908 4467 4920 2009 2010 1498 1767 6 7 1350 1475 7 5

1044 1323 2000 2001

1383 1570 2002 2003

1929 2397 2005 2006

1998 1999

2368 2959 3511 4252 5122 6059 6964
4957 5377 5472 5725 6360 7118 7973

2007 2008 1224 8033 9219 9978 7 1087 1226 8623 9399 6 9

画散点图如下:
y

x

图5.2.1 人均收入x与人均储蓄额y之间的数据散点图

从整体趋势来看,说明变量x 与 y之间具有明显的线性关系。

一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

主要任务: (1)参数估计; (2)模型检验; (3)预测。

1.参数估计
最小二乘法:
误差平方和:Q( ?0 , ?1 ) ? ? ? =? ( yi ? ?0 ? ?1 xi )2
i ?1 2 i i ?1 n n

? ,? ? )= min ( y ? ? ? ? x )2 Q( ? ? i 0 1i 0 1
?0 , ?1
i ?1

n

? Q( ? 0 , ?1 ) ? 0 ?? 0

n?0 ? ?1 ? xi ? ? yi
i ?1
n

n

n

i ?1
n

? Q( ?0 , ?1 ) ? 0 ??1

?0 ? xi ? ?1 ? xi2 ? ? xi yi
i ?1 i ?1 i ?1
n

n

正则方程

正则方程的解
? ? ? 1

? ( x ? x )( y ? y )
i ?1 i i

? (x ? x )
i ?1 i

n



2

? ? y?? ?x ? 0 1

lxy ? 简记为:?1 ? , lxx

? ?? ? x为经验回归方程 ? ?? 称y 0 1

? ? (XT X)?1 XT Y 最小二乘解的矩阵形式: ?
? 1 x1 ? ? y1 ? ? ? ? ? 1 x y2 ? 2? ? ? X? , Y? ? ? ? ? ? ? ? ? ? 1 xn ? ? yn ?
2 ? ,? ? ). 将最小二乘估计代入Q(?0 , ?1 )中,记SE ? Q(? 0 1

?i为残差。 称为残差平方和,称ei ? yi ? y
2 SE ? ? 参数? 的估计 ? n?2 2 2

2. 最小二乘估计的性质
(1)线性性

? ,? ? 是关于随机变量y (i ? 1,2,..., n)的线性函数 ? 0 1 i
? ? lxy ? 1 lxx
1 ? lxx ( xi ? x )( yi ? y ) ? 1 ? lxx i ?1
n
n

? (x ? x ) y
i ?1 i

n

i

n 1 ? ? ?0 ? y ? ?1 x = ? yi ? 1

n

i ?1

lxx

? (x ? x ) y x
i ?1 i i

(2)无偏性
?)? 1 E(? 1 lxx

1 ( xi ? x ) E ( yi ) ? ? lxx i ?1

n

? ( xi ? x )(?0 ? ?1xi ) ? ?1 1
i ?1

n

lxx

? ( x ? x )x
i ?1 i

n

i

? ?1

? ) ? E( y ) ? E(? ? )x E( ? 0 1

? ?0 ? ?1 x ? ?1 x ? ?0

2. 最小二乘估计的性质
? ,? ? 的方差 (3) ? 0 1

如果?1,
?)? 1 D(? 1 2 lxx

, ? n相互独立,且D? i ? ? 2 , 则
1 ? ( x ? x ) D ( y ) ? i i 2 lxx i ?1
2 n

? ( xi ? x )2? 2 ?
i ?1

n

1 2 ? lxx

1 x2 2 ? ) ? D( y ) ? x 2 D(? ? ) ? 2x cov( y, ? ? ) ? 1? 2 ? x2 1 ? 2 D(? 0 1 1 ? ( ? )? n lxx n lxx

(4)正态性
? ~N ( ? , ? 1 1

?2
lxx

)

2 x ? ~N ( ? ,( ? )? 2 ) ? 0 0 n lxx

1

? ,? ? )?? x ?2 cov( ? 0 1 lxx

? ? 1 ( x ? x )2 ? 2 ? ? ? ? ? ?0 ? ?1 x~N ? ?0 ? ?1 x, ? ? y ?? ? ? ? n l xx ? ? ? ?

2. 最小二乘估计的性质
? ,? ? 也是极大似然估计 (5) ? 0 1

L( y1 , y2 ,

, yn , ?0 , ?1 ) ? ? f ( yi , ?0 , ?1 ) ? ?
i ?1 i ?1

n

n

1 1 exp{? 2 ( yi ? ?0 ? ?1 xi )2 } 2? 2??

1 n ? 1 ? 2 ?? ? exp{? 2? 2 ? ( yi ? ?0 ? ?1 xi ) } i ?1 ? 2?? ?

n

max L( y1 , y2 ,
?0 , ?1

, yn , ? 0 , ?1 ) ? min ? ( yi ? ?0 ? ?1 xi )2
?0,?1
i ?1

n

(6)平方和分解公式
2 2 2 ST ? SR ? SE

其中S ? ? ( yi ? y )
2 T i ?1

n

2

?i ? y) S ? ?( y
2 R i ?1

n

2

?i )2 S ? ? ( yi ? y
2 E i ?1

n

2. 最小二乘估计的性质
(7) 性质
? ,? ? 与 S 2 独立; 1) ? 0 1 E
2 2 2) SE 与SR 独立;
2 SE 2

3)

?

~ ? 2 (n ? 2)

4) 当H 0成立时,

?

2 SR 2

~? 2 (1)

2. 最小二乘估计的性质
lxy ?2 ? 1. ?1 = ~ N ( ?1 , ) lxx lxx

1 x2 2 ? ? 2. ?0 ? y ? ?1 x ~ N (?0 , ( ? )? ) n lxx

? , y) ? 0 3. cov(? 1

? ,? ? ) ?? x ?2 4. cov(? 0 1 lxx 1 ( x ? x )2 2 ? ? ? ? ?0 ? ?1 x ~ N (?0 ? ?1 x, ( ? 5. y )? ) n lxx

2 2 2 6. ST ? SR ? SE

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

?Y ? ? 0 ? ?1 x1 ? ? ? 2 ? ~ N (0, ? ) ?

三种检验法:
(1)r检验法
R?
n

?(X
i ?1 i ?1

n

i

? X )(Yi ? Y )
n

?

lxy lxxl yy

2 2 ( X ? X ) ( Y ? Y ) ? i ? i i ?1

K0 ? {| r |? r? ( n ? 2)}

(2)t检验法

? l ? T ? 1 xx ~ t (n ? 2) ? ?

? ? K 0 ? ? t ? t ? (n ? 2) ? 1? ? 2 ?

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

2 2 2 ST ? SR ? SE

(3)F 检验法

2 SR F? 2 ~ F (1, n ? 2) S E / (n ? 2)

K0 ? ? f ? F1?? (1, n ? 2)?

计算 f 值的具体步骤:
2 ? 2l ; 1) SR ?? 1 xx
2 2) ST ? l yy
2 2 2 3) SE ? ST ? SR

4.预测
(1)点预测 (2)区间预测

在一定置信度下预测 参数Y0或者E(Y|X =x0 ) ? y0
结论:1)关于y0的置信度为1-?的置信区间: 其中
? ?? ?x , ?0 ? ? y 0 1 0
? ? s1 ( x0 ) t1?? (n ? 2), ?1 ( x0 ) ? ? 2
1

?0 ? ?1 ( x0 ) y

( x0 ? x )2 s1 ( x0 ) ? ? n lxx

2)关于Y0的置信度为1-?的置信区间: 其中
? ? s2 ( x0 )t1?? (n ? 2) ? 2 ( x0 ) ? ?
2

?0 ? ? 2 ( x0 ) y
1

( x0 ? x )2 s2 ( x0 ) ? 1 ? ? n lxx

一元线性回归

算 例1

在钢线碳含量对于电阻的效应研究中,得到以下 的数据:
碳含量 x(%) 0.1 0.3 0.4 0.55 0.7 0.8 0.95

电阻y (微欧) 15

18

19

21

22.6

23.8

26

需要计算: n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

1)求一元线性回归方程;

2)对线性回归模型进行检验;
3)求y在x0=0.85时置信度为0.95的预测区间;
? ?? ?x ? ?? 解: 1) y 0 1

n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

lxy 6.667 ? ?1 ? ? ? 12.556, lxx 0.531 ? ? y ?? ? x ? 13.953, ? 0 1 ? ? 13.953 ? 12.556 x y

2)对线性回归模型进行检验;
? ? 0, H : ? ? ?0 H0 : ? 1 1 1
?? 1. r lxy lxx ? l yy ? 0.996

r0.05 (5) ? 0.755
F0.95 (1,5) = 6.61

2 ? 2l ? SR 1 xx 2. F ? 2 ? ? 5 ? 662.94 2 ? S E / 5 l yy ? ?1 lxx

结论:拒绝H0,说明回归效果好。

3)求y在x0=0.85时置信度为0.95的预测区间;
2 SE 0.63 ? ?? ? ? 0.355 n?2 5

1 ( x0 ? x ) 2 1 (0.85 ? 0.543) 2 S ( x0 ) ? 1 ? ? ? 1? ? ? 1.3204 ? 1.1491 n lxx 7 0.531

? ? S ( x0 ) ? t0.975 (5) = 0.9895 ? ( x0 ) ? ?
?0 ? 13.953 ?12.556*0.85 ? 24.626 y

? 预测区间为: [23.637, 25.616]

一元线性回归

算 例2

为研究某市城市居民家庭人均年消费支出Y (百元)与人均 年可支配收人 X(百元)之间的关系,从2011年中国统计年鉴 上收集了1985-2010年26年的统计数据。试根据这些数据, ? 建立Y与X的样本回归直线; ? 进行模型检验; ? 预测当家庭人均年收入2万元时,家庭的人均年消费支出及 其置信度为95%的预测区间。

一元线性回归
年 人均可支配收入x(百元) 人均消费性支出y(百元) 年 1985 8.12 7.11 1998 1986 9.84 8.94 1999 58.28 1987 11.09 10.44 2000 61.76 1988 12.78 13.23 2001 65.72 1989 14.49 13.83 2002 72.38 1990 16.91 15.70 2003 80.94 1991 18.92 17.54 2004 92.21 1992 21.95 19.29 2005 1993 27.81 23.97 2006 1994 36.34 31.27 2007 1995 43.75 40.52 2008 1996 50.23 44.67 2009 1997 53.02 49.20 2010

人均可支配收入x(百元) 54.43

102.44 115.70 137.15 157.09 171.91 191.00

人均消费性支出y(百元)

49.57

53.77

54.72

57.25

63.60

71.18

79.73

86.23

93.99

108.76 122.69 135.07 147.55

y

x

图5.2.3 城镇居民人均年消费支出y与收入x之间的数据散点图

在excel平台上计算,工具栏里有“数据分析”,含有“回归”,按步骤输入数据。 计算结果:
SUMMARY OUTPUT 回归统计 Multiple R 0.997635 R Square 0.995276 Adjusted R 0.995079 Square 标准误差 2.8707 观测值 26

方差分析

df
回归分析 残差 总计

Significa nce F 1 41666.55 41666.55 5056.056 2E-29 24 197.7821 8.24092 25 41864.33

SS

MS

F

Coefficien 标准误差 ts Intercept 4.551596 0.901403 X Variable 1 0.771799 0.010854

t Stat 5.049459 71.10595

P-value 3.67E-05 2E-29

下限 95.0% 上限 95.0% 2.691192 0.749397 6.412 0.794201

? ? 4.5515 ? 0.7718 x y

预测
? ?? ? ? 2 ? 4.5516 ? 0.7718? 200 ? 158.9115 (百元) ?0 ? ? 当x0 ? 2万元时, y 0 1 ?0 ? ?2 ( x0 ), y ?0 ? ?2 ( x0 ) ? 其中? 2 ( x0 ) ? ? 预测区间: ? y ? ? s2 ( x0 )t1?? (n ? 2)
2

2 SE ?= ? ? 2.8707 n?2

1 ( x0 ? x ) 2 1 (200 ? 64.86)2 s2 ( x0 ) ? 1 ? ? ? 1? ? ? 1.14 n lxx 26 69948.55

t1?? 2 (n ? 2) ? t0.975 (24) ? 2.064

(152.157, 165.666)

6.

yi ? ?0 ? ?1 ( xi ? x ) ? ? i

? i ~ N (0, ? 2 )

(i ? 1, 2,..., n)

写出矩阵形式:

? y1 ? ?1 x1 ? x ? ? ?1 ? ? ? ? ? ? ? y 1 x ? x ? ? ? 2 ? 2??? ? 0 ? ??2 ? ? ? ? ? ? ? ?? ? ? 1? ? ? ? ? ? ? y 1 x ? x n ? n? ? ? ??n ?
n ? ? yi ? ? ? ? y i ?1 ? ? ? ? lxy ? n ? ? ? ? ? ( xi ? x ) yi ? ? lxx ? i ?1 ?

? ? ?n ?? 0 ? ??? ?? ? ? ? 0 ? 1? ? ?

? ? n 2? ( x ? x ) ? i ? i ?1 ? 0

?1

? ? ? ? ?


2013.1.1统计计算题参考答案

2013.1.1统计计算题参考答案_经济学_高等教育_教育专区。分配数列 1.根据所给...0.1374 即?0.5626 , 0.8374 相关与回归分析 计算相关系数、建立回归方程...

回归分析第1章课后习题参考答案

举报文档 邓小懒贡献于2013-06-20 0.0分 (0人评价)暂无用户评价 我要评价...第一章 回归分析概述习题参考答案 1.1 变量间的统计关系和函数关系有什么区别?...

1应用回归分析论文

三、回归模型建立 1.模型设定首先,根据 1990 年—2013 年的相关数据利用 SPSS 软件分析和估计模型的参 数,得到序列 Y、X1、X2、X3、X4、X5 的矩阵图。 2 ...

2013-2014年《统计学原理》试题及答案

2013 年统计学原理真题一、单项选择题(本大题共 20 小题,每小题 1 分,共...相关分析与回归分析,在是否区分自变量和因变量问题上 ( A.前者不必区分,后者...

第三章 回归分析方法1

lld211231贡献于2013-02-13 0.0分 (0人评价)暂无用户评价 我要评价 ...有 关回归关系的计算方法和理论称为回归分析技术。 回归分析的主要内容是: 1....

回归分析一

155 170 课题: 1.1 回归分析的基本思想及其初步应用(一) 课型:预习、展示课【学习目标】 通过典型案例的探究,进一步了解回归分析的基本思想、方法及初步 应用. ...

2013统计复习及答案

2013统计复习及答案_理学_高等教育_教育专区。. 家产品销售公司在 30 个地区...方差分析 *** 0.79760399 1.77875228 *** df 回归分析 残差 总计 SS ...

1.1《回归分析的基本思想及其初步应用》

1.1《回归分析的基本思想及其初步应用》_高三数学_数学_高中教育_教育专区。1....品味高考 1. (2013· 湖北卷 )四名同学根据各自的样本数据研究变量 x, y ...

利用Excel做回归分析操作步骤

数据分析——回归分析操作步骤一、 调出“数据分析”按钮 1、 打开 excel2007....文档贡献者 seturgh 贡献于2013-11-26 1/2 相关文档推荐 用Excel做回归分析 ...

2013-2014计量经济学期末卷A

2013-2014计量经济学期末卷A_经济学_高等教育_教育专区。云南财经大学 计量经济...四、名词解释(每小题 3 分,共 12 分) 1回归分析 2、一阶序列相关 3、...