nbhkdz.com冰点文库

回归分析(2013)1


研究生《数理统计》课程

回归分析
—元线性

问题的提出: 1. 空气污染度与人的寿命之间的关系? 2. 储蓄额与居民的收入之间的关系? 3. 城市里的人口与环境之间的关系? ……

回归分析基本原理 回归分析研究的主要对象是客观事物变量 间的关系,它是通过建立统计模型研究变量间 相关关系的密切程度、结构

状态、模型预测的 一种有力工具。

模型
一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

矩阵的表达形式
? 1 x1 ? ? ? 1 x 2? X?? , ? ? ? ? 1 x n? ?

Y ? X? ? ε
? y1 ? ? ?1 ? ? ? ? ? y ?2 ? 2? ? ? Y? , ε? ? ? ? ? ? ? ? ? y ? n? ??n ?

例 在研究某市人均收入与储蓄额之间的关系 问题中,把人均年储蓄额记作 x(元),人均年 收入记作 y(元)。收集到1985——2010年26年 期间的样本数据 如下表。
年 人均储蓄额 (元) 人均 收 入 (元) 年 人均储蓄额 (元) 人均 收 入 (元) 1985 1986 92 711 124 894 1987 1988 156 176 1989 1990 235 316 1991 415 1754 2004 1992 1993 523 668 1994 1995 956 1337 3127 4052 1996 1997 1656 1908 4467 4920 2009 2010 1498 1767 6 7 1350 1475 7 5

1044 1323 2000 2001

1383 1570 2002 2003

1929 2397 2005 2006

1998 1999

2368 2959 3511 4252 5122 6059 6964
4957 5377 5472 5725 6360 7118 7973

2007 2008 1224 8033 9219 9978 7 1087 1226 8623 9399 6 9

画散点图如下:
y

x

图5.2.1 人均收入x与人均储蓄额y之间的数据散点图

从整体趋势来看,说明变量x 与 y之间具有明显的线性关系。

一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

主要任务: (1)参数估计; (2)模型检验; (3)预测。

1.参数估计
最小二乘法:
误差平方和:Q( ?0 , ?1 ) ? ? ? =? ( yi ? ?0 ? ?1 xi )2
i ?1 2 i i ?1 n n

? ,? ? )= min ( y ? ? ? ? x )2 Q( ? ? i 0 1i 0 1
?0 , ?1
i ?1

n

? Q( ? 0 , ?1 ) ? 0 ?? 0

n?0 ? ?1 ? xi ? ? yi
i ?1
n

n

n

i ?1
n

? Q( ?0 , ?1 ) ? 0 ??1

?0 ? xi ? ?1 ? xi2 ? ? xi yi
i ?1 i ?1 i ?1
n

n

正则方程

正则方程的解
? ? ? 1

? ( x ? x )( y ? y )
i ?1 i i

? (x ? x )
i ?1 i

n



2

? ? y?? ?x ? 0 1

lxy ? 简记为:?1 ? , lxx

? ?? ? x为经验回归方程 ? ?? 称y 0 1

? ? (XT X)?1 XT Y 最小二乘解的矩阵形式: ?
? 1 x1 ? ? y1 ? ? ? ? ? 1 x y2 ? 2? ? ? X? , Y? ? ? ? ? ? ? ? ? ? 1 xn ? ? yn ?
2 ? ,? ? ). 将最小二乘估计代入Q(?0 , ?1 )中,记SE ? Q(? 0 1

?i为残差。 称为残差平方和,称ei ? yi ? y
2 SE ? ? 参数? 的估计 ? n?2 2 2

2. 最小二乘估计的性质
(1)线性性

? ,? ? 是关于随机变量y (i ? 1,2,..., n)的线性函数 ? 0 1 i
? ? lxy ? 1 lxx
1 ? lxx ( xi ? x )( yi ? y ) ? 1 ? lxx i ?1
n
n

? (x ? x ) y
i ?1 i

n

i

n 1 ? ? ?0 ? y ? ?1 x = ? yi ? 1

n

i ?1

lxx

? (x ? x ) y x
i ?1 i i

(2)无偏性
?)? 1 E(? 1 lxx

1 ( xi ? x ) E ( yi ) ? ? lxx i ?1

n

? ( xi ? x )(?0 ? ?1xi ) ? ?1 1
i ?1

n

lxx

? ( x ? x )x
i ?1 i

n

i

? ?1

? ) ? E( y ) ? E(? ? )x E( ? 0 1

? ?0 ? ?1 x ? ?1 x ? ?0

2. 最小二乘估计的性质
? ,? ? 的方差 (3) ? 0 1

如果?1,
?)? 1 D(? 1 2 lxx

, ? n相互独立,且D? i ? ? 2 , 则
1 ? ( x ? x ) D ( y ) ? i i 2 lxx i ?1
2 n

? ( xi ? x )2? 2 ?
i ?1

n

1 2 ? lxx

1 x2 2 ? ) ? D( y ) ? x 2 D(? ? ) ? 2x cov( y, ? ? ) ? 1? 2 ? x2 1 ? 2 D(? 0 1 1 ? ( ? )? n lxx n lxx

(4)正态性
? ~N ( ? , ? 1 1

?2
lxx

)

2 x ? ~N ( ? ,( ? )? 2 ) ? 0 0 n lxx

1

? ,? ? )?? x ?2 cov( ? 0 1 lxx

? ? 1 ( x ? x )2 ? 2 ? ? ? ? ? ?0 ? ?1 x~N ? ?0 ? ?1 x, ? ? y ?? ? ? ? n l xx ? ? ? ?

2. 最小二乘估计的性质
? ,? ? 也是极大似然估计 (5) ? 0 1

L( y1 , y2 ,

, yn , ?0 , ?1 ) ? ? f ( yi , ?0 , ?1 ) ? ?
i ?1 i ?1

n

n

1 1 exp{? 2 ( yi ? ?0 ? ?1 xi )2 } 2? 2??

1 n ? 1 ? 2 ?? ? exp{? 2? 2 ? ( yi ? ?0 ? ?1 xi ) } i ?1 ? 2?? ?

n

max L( y1 , y2 ,
?0 , ?1

, yn , ? 0 , ?1 ) ? min ? ( yi ? ?0 ? ?1 xi )2
?0,?1
i ?1

n

(6)平方和分解公式
2 2 2 ST ? SR ? SE

其中S ? ? ( yi ? y )
2 T i ?1

n

2

?i ? y) S ? ?( y
2 R i ?1

n

2

?i )2 S ? ? ( yi ? y
2 E i ?1

n

2. 最小二乘估计的性质
(7) 性质
? ,? ? 与 S 2 独立; 1) ? 0 1 E
2 2 2) SE 与SR 独立;
2 SE 2

3)

?

~ ? 2 (n ? 2)

4) 当H 0成立时,

?

2 SR 2

~? 2 (1)

2. 最小二乘估计的性质
lxy ?2 ? 1. ?1 = ~ N ( ?1 , ) lxx lxx

1 x2 2 ? ? 2. ?0 ? y ? ?1 x ~ N (?0 , ( ? )? ) n lxx

? , y) ? 0 3. cov(? 1

? ,? ? ) ?? x ?2 4. cov(? 0 1 lxx 1 ( x ? x )2 2 ? ? ? ? ?0 ? ?1 x ~ N (?0 ? ?1 x, ( ? 5. y )? ) n lxx

2 2 2 6. ST ? SR ? SE

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

?Y ? ? 0 ? ?1 x1 ? ? ? 2 ? ~ N (0, ? ) ?

三种检验法:
(1)r检验法
R?
n

?(X
i ?1 i ?1

n

i

? X )(Yi ? Y )
n

?

lxy lxxl yy

2 2 ( X ? X ) ( Y ? Y ) ? i ? i i ?1

K0 ? {| r |? r? ( n ? 2)}

(2)t检验法

? l ? T ? 1 xx ~ t (n ? 2) ? ?

? ? K 0 ? ? t ? t ? (n ? 2) ? 1? ? 2 ?

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

2 2 2 ST ? SR ? SE

(3)F 检验法

2 SR F? 2 ~ F (1, n ? 2) S E / (n ? 2)

K0 ? ? f ? F1?? (1, n ? 2)?

计算 f 值的具体步骤:
2 ? 2l ; 1) SR ?? 1 xx
2 2) ST ? l yy
2 2 2 3) SE ? ST ? SR

4.预测
(1)点预测 (2)区间预测

在一定置信度下预测 参数Y0或者E(Y|X =x0 ) ? y0
结论:1)关于y0的置信度为1-?的置信区间: 其中
? ?? ?x , ?0 ? ? y 0 1 0
? ? s1 ( x0 ) t1?? (n ? 2), ?1 ( x0 ) ? ? 2
1

?0 ? ?1 ( x0 ) y

( x0 ? x )2 s1 ( x0 ) ? ? n lxx

2)关于Y0的置信度为1-?的置信区间: 其中
? ? s2 ( x0 )t1?? (n ? 2) ? 2 ( x0 ) ? ?
2

?0 ? ? 2 ( x0 ) y
1

( x0 ? x )2 s2 ( x0 ) ? 1 ? ? n lxx

一元线性回归

算 例1

在钢线碳含量对于电阻的效应研究中,得到以下 的数据:
碳含量 x(%) 0.1 0.3 0.4 0.55 0.7 0.8 0.95

电阻y (微欧) 15

18

19

21

22.6

23.8

26

需要计算: n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

1)求一元线性回归方程;

2)对线性回归模型进行检验;
3)求y在x0=0.85时置信度为0.95的预测区间;
? ?? ?x ? ?? 解: 1) y 0 1

n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

lxy 6.667 ? ?1 ? ? ? 12.556, lxx 0.531 ? ? y ?? ? x ? 13.953, ? 0 1 ? ? 13.953 ? 12.556 x y

2)对线性回归模型进行检验;
? ? 0, H : ? ? ?0 H0 : ? 1 1 1
?? 1. r lxy lxx ? l yy ? 0.996

r0.05 (5) ? 0.755
F0.95 (1,5) = 6.61

2 ? 2l ? SR 1 xx 2. F ? 2 ? ? 5 ? 662.94 2 ? S E / 5 l yy ? ?1 lxx

结论:拒绝H0,说明回归效果好。

3)求y在x0=0.85时置信度为0.95的预测区间;
2 SE 0.63 ? ?? ? ? 0.355 n?2 5

1 ( x0 ? x ) 2 1 (0.85 ? 0.543) 2 S ( x0 ) ? 1 ? ? ? 1? ? ? 1.3204 ? 1.1491 n lxx 7 0.531

? ? S ( x0 ) ? t0.975 (5) = 0.9895 ? ( x0 ) ? ?
?0 ? 13.953 ?12.556*0.85 ? 24.626 y

? 预测区间为: [23.637, 25.616]

一元线性回归

算 例2

为研究某市城市居民家庭人均年消费支出Y (百元)与人均 年可支配收人 X(百元)之间的关系,从2011年中国统计年鉴 上收集了1985-2010年26年的统计数据。试根据这些数据, ? 建立Y与X的样本回归直线; ? 进行模型检验; ? 预测当家庭人均年收入2万元时,家庭的人均年消费支出及 其置信度为95%的预测区间。

一元线性回归
年 人均可支配收入x(百元) 人均消费性支出y(百元) 年 1985 8.12 7.11 1998 1986 9.84 8.94 1999 58.28 1987 11.09 10.44 2000 61.76 1988 12.78 13.23 2001 65.72 1989 14.49 13.83 2002 72.38 1990 16.91 15.70 2003 80.94 1991 18.92 17.54 2004 92.21 1992 21.95 19.29 2005 1993 27.81 23.97 2006 1994 36.34 31.27 2007 1995 43.75 40.52 2008 1996 50.23 44.67 2009 1997 53.02 49.20 2010

人均可支配收入x(百元) 54.43

102.44 115.70 137.15 157.09 171.91 191.00

人均消费性支出y(百元)

49.57

53.77

54.72

57.25

63.60

71.18

79.73

86.23

93.99

108.76 122.69 135.07 147.55

y

x

图5.2.3 城镇居民人均年消费支出y与收入x之间的数据散点图

在excel平台上计算,工具栏里有“数据分析”,含有“回归”,按步骤输入数据。 计算结果:
SUMMARY OUTPUT 回归统计 Multiple R 0.997635 R Square 0.995276 Adjusted R 0.995079 Square 标准误差 2.8707 观测值 26

方差分析

df
回归分析 残差 总计

Significa nce F 1 41666.55 41666.55 5056.056 2E-29 24 197.7821 8.24092 25 41864.33

SS

MS

F

Coefficien 标准误差 ts Intercept 4.551596 0.901403 X Variable 1 0.771799 0.010854

t Stat 5.049459 71.10595

P-value 3.67E-05 2E-29

下限 95.0% 上限 95.0% 2.691192 0.749397 6.412 0.794201

? ? 4.5515 ? 0.7718 x y

预测
? ?? ? ? 2 ? 4.5516 ? 0.7718? 200 ? 158.9115 (百元) ?0 ? ? 当x0 ? 2万元时, y 0 1 ?0 ? ?2 ( x0 ), y ?0 ? ?2 ( x0 ) ? 其中? 2 ( x0 ) ? ? 预测区间: ? y ? ? s2 ( x0 )t1?? (n ? 2)
2

2 SE ?= ? ? 2.8707 n?2

1 ( x0 ? x ) 2 1 (200 ? 64.86)2 s2 ( x0 ) ? 1 ? ? ? 1? ? ? 1.14 n lxx 26 69948.55

t1?? 2 (n ? 2) ? t0.975 (24) ? 2.064

(152.157, 165.666)

6.

yi ? ?0 ? ?1 ( xi ? x ) ? ? i

? i ~ N (0, ? 2 )

(i ? 1, 2,..., n)

写出矩阵形式:

? y1 ? ?1 x1 ? x ? ? ?1 ? ? ? ? ? ? ? y 1 x ? x ? ? ? 2 ? 2??? ? 0 ? ??2 ? ? ? ? ? ? ? ?? ? ? 1? ? ? ? ? ? ? y 1 x ? x n ? n? ? ? ??n ?
n ? ? yi ? ? ? ? y i ?1 ? ? ? ? lxy ? n ? ? ? ? ? ( xi ? x ) yi ? ? lxx ? i ?1 ?

? ? ?n ?? 0 ? ??? ?? ? ? ? 0 ? 1? ? ?

? ? n 2? ( x ? x ) ? i ? i ?1 ? 0

?1

? ? ? ? ?


2013.1.1统计计算题参考答案

2013.1.1统计计算题参考答案_经济学_高等教育_教育专区。分配数列 1.根据所给...0.1374 即?0.5626 , 0.8374 相关与回归分析 计算相关系数、建立回归方程...

2013-2014年《统计学原理》试题及答案

2013 年统计学原理真题一、单项选择题(本大题共 20 小题,每小题 1 分,共...相关分析与回归分析,在是否区分自变量和因变量问题上 ( A.前者不必区分,后者...

第三章 回归分析方法1

lld211231贡献于2013-02-13 0.0分 (0人评价)暂无用户评价 我要评价 ...有 关回归关系的计算方法和理论称为回归分析技术。 回归分析的主要内容是: 1....

2013统计复习及答案

2013统计复习及答案_理学_高等教育_教育专区。. 家产品销售公司在 30 个地区...方差分析 *** 0.79760399 1.77875228 *** df 回归分析 残差 总计 SS ...

1.3可线性化的回归分析

2013---05 学习目标:通过典型案例的探究,进一步学习非线性回归模型的回归分析 ...1.例 1: 一只红铃虫的产卵数 y 和温度 x 有关, 现收集了 7 组观测数据...

Excel回归分析结果的详细阐释

1 连续 10 年Excel 回归分析结果的详细阐释利用 Excel 的数据分析进行回归,...文档贡献者 ycl071926 贡献于2013-03-04 专题推荐 Excel介绍 EXCEL2003教程(...

STATA 第一章 回归分析

在此处利用两个简单的回归分析案例让初学者学会使用 STATA 进行回归分析。 STATA...文档贡献者 醉客天涯 贡献于2013-10-17 1/2 相关文档推荐 stata回归分析 15...

1.1《回归分析的基本思想及其初步应用》

1.1《回归分析的基本思想及其初步应用》_高三数学_数学_高中教育_教育专区。1....品味高考 1. (2013· 湖北卷 )四名同学根据各自的样本数据研究变量 x, y ...

利用Excel做回归分析操作步骤

数据分析——回归分析操作步骤一、 调出“数据分析”按钮 1、 打开 excel2007....文档贡献者 seturgh 贡献于2013-11-26 1/2 相关文档推荐 用Excel做回归分析 ...

回归分析、时间序列分析答案

回归分析、时间序列分析答案_经济学_高等教育_教育专区。一、单项选择题 1、下面...2013年注会经济法统考真题 2013年注会设计统考真题及答案 20份文档 乘机安全小...