nbhkdz.com冰点文库

回归分析(2013)1


研究生《数理统计》课程

回归分析
—元线性

问题的提出: 1. 空气污染度与人的寿命之间的关系? 2. 储蓄额与居民的收入之间的关系? 3. 城市里的人口与环境之间的关系? ……

回归分析基本原理 回归分析研究的主要对象是客观事物变量 间的关系,它是通过建立统计模型研究变量间 相关关系的密切程度、结构

状态、模型预测的 一种有力工具。

模型
一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

矩阵的表达形式
? 1 x1 ? ? ? 1 x 2? X?? , ? ? ? ? 1 x n? ?

Y ? X? ? ε
? y1 ? ? ?1 ? ? ? ? ? y ?2 ? 2? ? ? Y? , ε? ? ? ? ? ? ? ? ? y ? n? ??n ?

例 在研究某市人均收入与储蓄额之间的关系 问题中,把人均年储蓄额记作 x(元),人均年 收入记作 y(元)。收集到1985——2010年26年 期间的样本数据 如下表。
年 人均储蓄额 (元) 人均 收 入 (元) 年 人均储蓄额 (元) 人均 收 入 (元) 1985 1986 92 711 124 894 1987 1988 156 176 1989 1990 235 316 1991 415 1754 2004 1992 1993 523 668 1994 1995 956 1337 3127 4052 1996 1997 1656 1908 4467 4920 2009 2010 1498 1767 6 7 1350 1475 7 5

1044 1323 2000 2001

1383 1570 2002 2003

1929 2397 2005 2006

1998 1999

2368 2959 3511 4252 5122 6059 6964
4957 5377 5472 5725 6360 7118 7973

2007 2008 1224 8033 9219 9978 7 1087 1226 8623 9399 6 9

画散点图如下:
y

x

图5.2.1 人均收入x与人均储蓄额y之间的数据散点图

从整体趋势来看,说明变量x 与 y之间具有明显的线性关系。

一元线性回归模型
? ? yi ? ? 0 ? ?1 xi ? ? i ? 2 ? , ? ,..., ? ~ N (0, ? ) ? n ? 1 2 i ? 1, 2,..., n

主要任务: (1)参数估计; (2)模型检验; (3)预测。

1.参数估计
最小二乘法:
误差平方和:Q( ?0 , ?1 ) ? ? ? =? ( yi ? ?0 ? ?1 xi )2
i ?1 2 i i ?1 n n

? ,? ? )= min ( y ? ? ? ? x )2 Q( ? ? i 0 1i 0 1
?0 , ?1
i ?1

n

? Q( ? 0 , ?1 ) ? 0 ?? 0

n?0 ? ?1 ? xi ? ? yi
i ?1
n

n

n

i ?1
n

? Q( ?0 , ?1 ) ? 0 ??1

?0 ? xi ? ?1 ? xi2 ? ? xi yi
i ?1 i ?1 i ?1
n

n

正则方程

正则方程的解
? ? ? 1

? ( x ? x )( y ? y )
i ?1 i i

? (x ? x )
i ?1 i

n



2

? ? y?? ?x ? 0 1

lxy ? 简记为:?1 ? , lxx

? ?? ? x为经验回归方程 ? ?? 称y 0 1

? ? (XT X)?1 XT Y 最小二乘解的矩阵形式: ?
? 1 x1 ? ? y1 ? ? ? ? ? 1 x y2 ? 2? ? ? X? , Y? ? ? ? ? ? ? ? ? ? 1 xn ? ? yn ?
2 ? ,? ? ). 将最小二乘估计代入Q(?0 , ?1 )中,记SE ? Q(? 0 1

?i为残差。 称为残差平方和,称ei ? yi ? y
2 SE ? ? 参数? 的估计 ? n?2 2 2

2. 最小二乘估计的性质
(1)线性性

? ,? ? 是关于随机变量y (i ? 1,2,..., n)的线性函数 ? 0 1 i
? ? lxy ? 1 lxx
1 ? lxx ( xi ? x )( yi ? y ) ? 1 ? lxx i ?1
n
n

? (x ? x ) y
i ?1 i

n

i

n 1 ? ? ?0 ? y ? ?1 x = ? yi ? 1

n

i ?1

lxx

? (x ? x ) y x
i ?1 i i

(2)无偏性
?)? 1 E(? 1 lxx

1 ( xi ? x ) E ( yi ) ? ? lxx i ?1

n

? ( xi ? x )(?0 ? ?1xi ) ? ?1 1
i ?1

n

lxx

? ( x ? x )x
i ?1 i

n

i

? ?1

? ) ? E( y ) ? E(? ? )x E( ? 0 1

? ?0 ? ?1 x ? ?1 x ? ?0

2. 最小二乘估计的性质
? ,? ? 的方差 (3) ? 0 1

如果?1,
?)? 1 D(? 1 2 lxx

, ? n相互独立,且D? i ? ? 2 , 则
1 ? ( x ? x ) D ( y ) ? i i 2 lxx i ?1
2 n

? ( xi ? x )2? 2 ?
i ?1

n

1 2 ? lxx

1 x2 2 ? ) ? D( y ) ? x 2 D(? ? ) ? 2x cov( y, ? ? ) ? 1? 2 ? x2 1 ? 2 D(? 0 1 1 ? ( ? )? n lxx n lxx

(4)正态性
? ~N ( ? , ? 1 1

?2
lxx

)

2 x ? ~N ( ? ,( ? )? 2 ) ? 0 0 n lxx

1

? ,? ? )?? x ?2 cov( ? 0 1 lxx

? ? 1 ( x ? x )2 ? 2 ? ? ? ? ? ?0 ? ?1 x~N ? ?0 ? ?1 x, ? ? y ?? ? ? ? n l xx ? ? ? ?

2. 最小二乘估计的性质
? ,? ? 也是极大似然估计 (5) ? 0 1

L( y1 , y2 ,

, yn , ?0 , ?1 ) ? ? f ( yi , ?0 , ?1 ) ? ?
i ?1 i ?1

n

n

1 1 exp{? 2 ( yi ? ?0 ? ?1 xi )2 } 2? 2??

1 n ? 1 ? 2 ?? ? exp{? 2? 2 ? ( yi ? ?0 ? ?1 xi ) } i ?1 ? 2?? ?

n

max L( y1 , y2 ,
?0 , ?1

, yn , ? 0 , ?1 ) ? min ? ( yi ? ?0 ? ?1 xi )2
?0,?1
i ?1

n

(6)平方和分解公式
2 2 2 ST ? SR ? SE

其中S ? ? ( yi ? y )
2 T i ?1

n

2

?i ? y) S ? ?( y
2 R i ?1

n

2

?i )2 S ? ? ( yi ? y
2 E i ?1

n

2. 最小二乘估计的性质
(7) 性质
? ,? ? 与 S 2 独立; 1) ? 0 1 E
2 2 2) SE 与SR 独立;
2 SE 2

3)

?

~ ? 2 (n ? 2)

4) 当H 0成立时,

?

2 SR 2

~? 2 (1)

2. 最小二乘估计的性质
lxy ?2 ? 1. ?1 = ~ N ( ?1 , ) lxx lxx

1 x2 2 ? ? 2. ?0 ? y ? ?1 x ~ N (?0 , ( ? )? ) n lxx

? , y) ? 0 3. cov(? 1

? ,? ? ) ?? x ?2 4. cov(? 0 1 lxx 1 ( x ? x )2 2 ? ? ? ? ?0 ? ?1 x ~ N (?0 ? ?1 x, ( ? 5. y )? ) n lxx

2 2 2 6. ST ? SR ? SE

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

?Y ? ? 0 ? ?1 x1 ? ? ? 2 ? ~ N (0, ? ) ?

三种检验法:
(1)r检验法
R?
n

?(X
i ?1 i ?1

n

i

? X )(Yi ? Y )
n

?

lxy lxxl yy

2 2 ( X ? X ) ( Y ? Y ) ? i ? i i ?1

K0 ? {| r |? r? ( n ? 2)}

(2)t检验法

? l ? T ? 1 xx ~ t (n ? 2) ? ?

? ? K 0 ? ? t ? t ? (n ? 2) ? 1? ? 2 ?

3.模型检验
H0 : ?1 ? 0, H1 : ?1 ? 0

2 2 2 ST ? SR ? SE

(3)F 检验法

2 SR F? 2 ~ F (1, n ? 2) S E / (n ? 2)

K0 ? ? f ? F1?? (1, n ? 2)?

计算 f 值的具体步骤:
2 ? 2l ; 1) SR ?? 1 xx
2 2) ST ? l yy
2 2 2 3) SE ? ST ? SR

4.预测
(1)点预测 (2)区间预测

在一定置信度下预测 参数Y0或者E(Y|X =x0 ) ? y0
结论:1)关于y0的置信度为1-?的置信区间: 其中
? ?? ?x , ?0 ? ? y 0 1 0
? ? s1 ( x0 ) t1?? (n ? 2), ?1 ( x0 ) ? ? 2
1

?0 ? ?1 ( x0 ) y

( x0 ? x )2 s1 ( x0 ) ? ? n lxx

2)关于Y0的置信度为1-?的置信区间: 其中
? ? s2 ( x0 )t1?? (n ? 2) ? 2 ( x0 ) ? ?
2

?0 ? ? 2 ( x0 ) y
1

( x0 ? x )2 s2 ( x0 ) ? 1 ? ? n lxx

一元线性回归

算 例1

在钢线碳含量对于电阻的效应研究中,得到以下 的数据:
碳含量 x(%) 0.1 0.3 0.4 0.55 0.7 0.8 0.95

电阻y (微欧) 15

18

19

21

22.6

23.8

26

需要计算: n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

1)求一元线性回归方程;

2)对线性回归模型进行检验;
3)求y在x0=0.85时置信度为0.95的预测区间;
? ?? ?x ? ?? 解: 1) y 0 1

n = 7, x = 0.543, y = 20.771,
lxy = 6.66, lxx = 0.531, l yy = 84.16

lxy 6.667 ? ?1 ? ? ? 12.556, lxx 0.531 ? ? y ?? ? x ? 13.953, ? 0 1 ? ? 13.953 ? 12.556 x y

2)对线性回归模型进行检验;
? ? 0, H : ? ? ?0 H0 : ? 1 1 1
?? 1. r lxy lxx ? l yy ? 0.996

r0.05 (5) ? 0.755
F0.95 (1,5) = 6.61

2 ? 2l ? SR 1 xx 2. F ? 2 ? ? 5 ? 662.94 2 ? S E / 5 l yy ? ?1 lxx

结论:拒绝H0,说明回归效果好。

3)求y在x0=0.85时置信度为0.95的预测区间;
2 SE 0.63 ? ?? ? ? 0.355 n?2 5

1 ( x0 ? x ) 2 1 (0.85 ? 0.543) 2 S ( x0 ) ? 1 ? ? ? 1? ? ? 1.3204 ? 1.1491 n lxx 7 0.531

? ? S ( x0 ) ? t0.975 (5) = 0.9895 ? ( x0 ) ? ?
?0 ? 13.953 ?12.556*0.85 ? 24.626 y

? 预测区间为: [23.637, 25.616]

一元线性回归

算 例2

为研究某市城市居民家庭人均年消费支出Y (百元)与人均 年可支配收人 X(百元)之间的关系,从2011年中国统计年鉴 上收集了1985-2010年26年的统计数据。试根据这些数据, ? 建立Y与X的样本回归直线; ? 进行模型检验; ? 预测当家庭人均年收入2万元时,家庭的人均年消费支出及 其置信度为95%的预测区间。

一元线性回归
年 人均可支配收入x(百元) 人均消费性支出y(百元) 年 1985 8.12 7.11 1998 1986 9.84 8.94 1999 58.28 1987 11.09 10.44 2000 61.76 1988 12.78 13.23 2001 65.72 1989 14.49 13.83 2002 72.38 1990 16.91 15.70 2003 80.94 1991 18.92 17.54 2004 92.21 1992 21.95 19.29 2005 1993 27.81 23.97 2006 1994 36.34 31.27 2007 1995 43.75 40.52 2008 1996 50.23 44.67 2009 1997 53.02 49.20 2010

人均可支配收入x(百元) 54.43

102.44 115.70 137.15 157.09 171.91 191.00

人均消费性支出y(百元)

49.57

53.77

54.72

57.25

63.60

71.18

79.73

86.23

93.99

108.76 122.69 135.07 147.55

y

x

图5.2.3 城镇居民人均年消费支出y与收入x之间的数据散点图

在excel平台上计算,工具栏里有“数据分析”,含有“回归”,按步骤输入数据。 计算结果:
SUMMARY OUTPUT 回归统计 Multiple R 0.997635 R Square 0.995276 Adjusted R 0.995079 Square 标准误差 2.8707 观测值 26

方差分析

df
回归分析 残差 总计

Significa nce F 1 41666.55 41666.55 5056.056 2E-29 24 197.7821 8.24092 25 41864.33

SS

MS

F

Coefficien 标准误差 ts Intercept 4.551596 0.901403 X Variable 1 0.771799 0.010854

t Stat 5.049459 71.10595

P-value 3.67E-05 2E-29

下限 95.0% 上限 95.0% 2.691192 0.749397 6.412 0.794201

? ? 4.5515 ? 0.7718 x y

预测
? ?? ? ? 2 ? 4.5516 ? 0.7718? 200 ? 158.9115 (百元) ?0 ? ? 当x0 ? 2万元时, y 0 1 ?0 ? ?2 ( x0 ), y ?0 ? ?2 ( x0 ) ? 其中? 2 ( x0 ) ? ? 预测区间: ? y ? ? s2 ( x0 )t1?? (n ? 2)
2

2 SE ?= ? ? 2.8707 n?2

1 ( x0 ? x ) 2 1 (200 ? 64.86)2 s2 ( x0 ) ? 1 ? ? ? 1? ? ? 1.14 n lxx 26 69948.55

t1?? 2 (n ? 2) ? t0.975 (24) ? 2.064

(152.157, 165.666)

6.

yi ? ?0 ? ?1 ( xi ? x ) ? ? i

? i ~ N (0, ? 2 )

(i ? 1, 2,..., n)

写出矩阵形式:

? y1 ? ?1 x1 ? x ? ? ?1 ? ? ? ? ? ? ? y 1 x ? x ? ? ? 2 ? 2??? ? 0 ? ??2 ? ? ? ? ? ? ? ?? ? ? 1? ? ? ? ? ? ? y 1 x ? x n ? n? ? ? ??n ?
n ? ? yi ? ? ? ? y i ?1 ? ? ? ? lxy ? n ? ? ? ? ? ( xi ? x ) yi ? ? lxx ? i ?1 ?

? ? ?n ?? 0 ? ??? ?? ? ? ? 0 ? 1? ? ?

? ? n 2? ( x ? x ) ? i ? i ?1 ? 0

?1

? ? ? ? ?


江西财经大学 统计学《相关与回归分析》课后习题答案(2013统计学复习)

2.1 2.6 3 2.3 2.9 4 1.9 2.7 5 1.9 2.8 6 2.1 3.0 7 2.4 3.2 木材耗电量(千米) 总成本(千元) (1)建立以总成本为因变量的回归直线方程...

2013秋 回归分析 实验报告(电子版版式)

年级、专业 信息与计算科学 姓名 学号名单序号 实验时间 2013 年 10 月 28 ...(三) :回归分析 1. 用刀削机床加工时,为实地调整机床需测定刀具的磨损速度,...

3.1 回归分析(1)

【学习重点】了解回归分析的基本思想、方法及简单应用.会根据两个随机变量的相性相关系 数判断它们之间的线性相关程度。 【预习案】( 1、线性回归方程:对于组...

1-2(1)回归分析

总节数:1 1.1 回归分析的基本 思想及其初步应用 (一) 中心备课人 ?x y i ?1 8 i i ?1 8 i ? 8x y 2 ? xi 2 ? 8x ? 1. 通过典型案例的...

2013.1.1统计计算题参考答案

2013.1.1统计计算题参考答案_经济学_高等教育_教育专区。分配数列 1.根据所给...0.1374 即?0.5626 , 0.8374 相关与回归分析 计算相关系数、建立回归方程...

1应用回归分析论文

三、回归模型建立 1.模型设定首先,根据 1990 年—2013 年的相关数据利用 SPSS 软件分析和估计模型的参 数,得到序列 Y、X1、X2、X3、X4、X5 的矩阵图。 2 ...

(1-14)回归分析

、概念 1.回归分析的含义 1.回归分析的含义 若具有相关关系的变量间(自变量...现在就登录>> 你可能喜欢©2013 Baidu 使用百度前必读 | 文库协议...

一元线性回归方程模拟Excel 2013

元线性回归方程模拟Excel 2013_数学_自然科学_专业资料。可通过Excel 2013快速完成一元线性回归方程的模拟分析 线性回归方程模拟 Excel 2013 1. 数据呈现形式如图 ...

2013高中数学 1-2回归分析同步练习 新人教B版选修1-2

2013高中数学 1-2回归分析同步练习 新人教B版选修1-2_高一数学_数学_高中教育_教育专区。选修 1-2 一、选择题 1.2 回归分析 ^ 1.已知回归直线方程y=2-2.5...