nbhkdz.com冰点文库

第2讲 基础知识复习1


基础知识复习
一、概率论基础知识

条件概率、条件期望

二、数理统计基础知识

1

一、概率论基础知识
概率 2. 随机变量 3. 概率密度函数 4. 多维随机变量 5. 随机变量的数字特征 6. 一些重要的概率分布
1.
2

概率


随机试验
a. b.

c.

可以在相同条件下重复进行 每次试验的可能结果不止一个,但事先能明确所有 的可能结果 进行一次试验之前不能确定会出现哪一个结果

实例 ? 一枚硬币抛掷两次 ? 在北京师范大学校园里询问任意一个学生的年龄
3

概率
样本空间(sampling space)/总体(population) ? 某一个随机试验的所有可能结果组成的集合,记为S 样本点(sampling point) ? 样本空间里的某一元素,即随机试验的某一可能结果 实例 ? 一枚硬币抛掷两次,出现正面记为H,出现反面记为T ? 样本空间:{HH,HT,TH,TT} ? 样本点: HH,HT,TH,TT
4

概率
事件(event) ? 某一随机试验的样本空间的一个子集 实例:一枚硬币抛掷两次 ? 事件A:出现两个正面 ? 事件B:出现一个正面和一个反面 ? 事件C:出现两个反面

5

概率
频率(frequency) ? 在相同条件下,某随机试验进行了n次,其中事件A发 生了m次,则比值m/n称为事件A发生的频率,记fn(A)

实例:抛掷一枚硬币,事件A为出现正面
n 5 0.7 50 0.54 500 0.484 2048 0.5181 4040 0.5069 12000 0.5016 24000 0.5005

fn(A)

当n逐渐增大时,频率趋向于某一常数,称为频率稳定性
6

概率
概率(probability) ? S是某一随机试验的样本空间,对于其中的任意一个事 件A赋予一个实数P(A),如果P(A)满足下列三个条件, 则称P(A)为事件A的概率。

a .0 ? P ( A) ? 1 b. P ( S ) ? 1 c.如果A1 , A2 ,?是两两不相容的事件, 那么 P ( A1 ? A2 ? ?) ? P ( A1 ) ? P ( A2 ) ? ?
? 当n趋近于无穷大时,频率fn(A)无限接近于概率P(A),从而 用概率来度量事件A在一次试验中发生的可能性
7

概率
条件概率(conditional probability) ? 设A、B是两个事件,且P(A)>0,称下式为事件A发生 的条件下事件B发生的条件概率:

P ( AB ) P ( B | A) ? P ( A)
实例
?

一枚硬币抛掷两次,出现正面记为H,出现反面记为T。事 件A为“至少有一次H”,事件B为“两次都是同一面”。则 事件A的概率为3/4,事件A和B同时发生的概率为1/4,在A 发生的条件下B发生的概率为1/3
8

随机变量
随机变量(stochastic/random variable)
?

一个变量若它的值是由随机试验决定的,称其为随机变量。随机变 量通常用大写字母X、Y、Z表示,其数值则用小写字母x、y、z表示 可能取到的值是有限个的随机变量 可能取到的值是无限个的随机变量

离散型随机变量(discrete random variable)
?

连续型随机变量(continuous random variable)
?

实例
? ?

离散型随机变量:扔一次骰子出现的点数;未出生婴儿的性别 连续型随机变量:人的身高;百米跑速度
9

概率密度函数
离散型变量的概率密度函数/概率分布 (probability density function/probability distribution)

f ( X ) ? P( X ? xi ),i ? 1,2 ,? , n
实例 ? X:投掷两颗骰子出现的点数之和 ? X的PDF
X 2 3 4 5 6 7 8 9 10 11 12

f(X) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36

10

概率密度函数
连续型变量的累积分布函数(cumulative distribution function)
F ( x ) ? P( X ? x ) a .P ( X ? a ) ? 1 ? F ( a ) b .P ( a ? X ? b ) ? F ( b ) ? F ( a ),a ? b

实例
?

枪靶的半径为2米,若每枪都能击中枪靶,且击中靶上任一同心 圆内的点的概率与该圆的面积成正比,则弹着点与靶心的距离 X 是一个连续型随机变量,其CDF为:

?0 , x ? 0 ? F ( x ) ? ? x 2 / 4 ,0 ? x ? 2 ?1 , x ? 2 ?

F(x)

1 x

2

11

概率密度函数
连续型变量的概率密度函数(PDF)

?

x

??

f ( x )dx ?F ( x ) ? P ( X ? x )

概率密度函数f ( t )有以下重要性质: a .?
?? ??

f ( x )dx ? 1
b a

b .P ( a ? X ? b ) ? F ( b ) ? F ( a ) ? ? f ( x )dx , a ? b

实例
?

f(x)
? x / 2 ,0 ? x ? 2 f( x)? ? ?0 , 其它

在上例中,PDF为:

1 2

x
12

概率密度函数
?

连续型变量的概率密度函数(PDF) f(x)
P (a ? X ? b) ? ? f ( x )dx
a b

a

b

x
13

多维随机变量
多维随机变量
?

?

多个变量的取值由同一个随机试验决定,称这些变量为 多维随机变量。 以下我们考虑最简单的二维随机变量,用(X,Y)表示,其 数值用(x,y)表示

实例
? ?

离散型二维随机变量:每一位学生的性别和民族 连续型二维随机变量:每一位学生的身高和体重
14

多维随机变量
离散型变量的联合概率密度函数(joint PDF)
f ( x, y ) ? P ( X ? x, Y ? y )

实例 民族 汉族 满族 回族 蒙古族

性别




0.27
0.35

0.08
0.10

0.16
0

0
0.04

譬如:既是男生又是满族的概率为0.08,既是女生又是回族的概率为0
15

多维随机变量
离散型变量的边缘概率密度函数 (marginal PDF)
f ( x) ? ? f ( x, y) ? P( X ? x)
y

f ( y ) ? ? f ( x , y ) ? P (Y ? y )
x

实例
X (民族) 汉族 Y (性别) 男 女 0.27 0.35 0.62 满族 0.08 0.10 0.18 回族 0.16 0 0.16 蒙古族 0 0.04 0.04
16

边缘概率 0.51 0.49

边缘概率

多维随机变量
离散型变量的条件概率密度函数 (conditional PDF)
P ( X ? x, Y ? y ) f ( x, y ) f ( x | y) ? P( X ? x | Y ? y) ? ? P (Y ? y ) f ( y)
?

表示在Y=y的条件下X=x的概率
X (民族) 汉族 满族 回族 蒙古族 边缘概率

Y (性别)




0.27
0.35

0.08
0.10

0.16
0

0
0.04

0.51
0.49

0.62 0.18 0.16 0.04 边缘概率 譬如:f (满族, 女生)=0.10, f (女生)=0.49, f (满族|女生)=0.10/0.49=0.20 f (汉族, 男生)=0.27, f (男生)=0.51, f (汉族|男生)=0.27/0.51=0.53
17

多维随机变量
统计独立性 (statistically independence)
?

如果两个随机变量的联合PDF等于它们边缘PDF的乘积, 则称这两个变量是相互独立的(independent)。两个变 量独立意味着其中一个变量的结果不会影响另一个。

f ( x, y ) ? f ( x ) ? f ( y ) 即:P ( X ? x , Y ? y ) ? P ( X ? x ) ? P (Y ? y )
实例:抛硬币
Y (第二次) 正面(H) 反面(T) 1/4 1/4

X (第一次)
正面(H) 反面(T) 1/4 1/4
18

譬如:f (X=H,Y=H)=f (X=H)*f(Y=H)=1/2*1/2=1/4 ……

多维随机变量
连续型变量的联合概率密度函数 (joint PDF)

? ?

y

x

?? ??

f ( x , y )dxdy ?F ( x , y ) ? P ( X ? x , Y ? y )
d c

易知:P (a ? X ? b, c ? Y ? d ) ? ?

?

b

a

f ( x , y )dxdy

连续型变量的边缘概率密度函数 (marginal PDF)

? ?

??

?? ??

f ( x , y )dy ? f ( x ) ? P ( X ? x ) f ( x , y )dx ? f ( y ) ? P (Y ? y )

??

统计独立性 (statistically independence) f ( x, y ) ? f ( x ) ? f ( y )
19

随机变量的数字特征
?

以上讨论了随机变量的概率密度函数PDF和累积分布函数 CDF,但在处理实际问题时,往往不需要求出这些函数, 而是只需要了解变量的某些特征值。 这些特征值包括三类: ? 度量变量分布的集中趋势(central tendency):数学 期望或均值;中位数;众数
?

?

度量变量分布的离散性(dispersion):方差;标准差
度量两个变量的相关性(correlation):协方差;相关 系数
20

?

随机变量的数字特征
数学期望(expectation)或均值(mean) ? 离散型变量的期望:
若f ( x )为X的PDF,即f ( x ) ? P ( X ? x ),则E ( X ) ? ? xi ? f ( xi )
i ?1 n

?

实例:扔两个骰子的点数之和
2 3 4 5 6 7 8 9 10 11 12

x

f(x)

1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36

E ( X ) ? 2(1 / 36) ? 3(2 / 36) ? ? ? 12(1 / 36) ? 7
21

随机变量的数字特征
?

连续型变量的期望:
若f ( x )为X的PDF,即? 则E ( X ) ? ? x ? f ( x )dx
?? ?? x ??

f ( x )dx ? P ( X ? x )

?

实例:

1 2 若f ( x ) ? x ;0 ? x ? 3 9 3 1 9 则E ( X ) ? ? x ? x 2 dx ? 0 9 4
22

随机变量的数字特征
期望的性质:
a . E (c ) ? c , c为常数 b. E (c ? X ) ? c ? E ( X ), c为常数 c . E ( X ? Y ) ? E ( X ) ? E (Y ) d .若Y ? g ( X ), 则E (Y ) ? E[ g ( X )] ? ? g ( x ) ? f ( x )dx
?? ??

e .若X与Y相互独立,则E ( X ? Y ) ? E ( X ) ? E (Y )

23

随机变量的数字特征
中位数(median)
?

?

对于离散型变量,假设所有可能取值的个数为n,把这些数 从小到大排列。若n为奇数,位于中央位置的那个数就是中 位数;若n为偶数,位于中央位置的那两个数的平均数就是 中位数。记为Med(X),中位数所在的位置为(n+1)/2。 对于连续型变量,中位数m满足下列条件:

?
x 2

m

??

1 f ( x )dx ? P ( X ? m ) ? 2
3 4 5 6 7

8

9

10

11

12

f(x)

1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36

Med( X ) ? 7
24

随机变量的数字特征
众数(mode)
?
?
? ? ?

众数就是随机变量的所有可能取值中出现次数最多的那个 随机变量的类型
定类变量(nominal variable):性别;民族 定序变量(ordinal variable):教育水平;收入等级 定距变量(interval variable):考试成绩;收入水平

?

一般地,不同类型的变量用不同的数学特征表示其集中趋 势。定类变量用众数;定序变量用中位数;定距变量用均 值或中位数
2 3 4 5 6 7 8 9 10 11 12

x f(x)

1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36

Mo( X ) ? 7

25

随机变量的数字特征
方差(variance)
?

方差被定义为随机变量对其均值的期望距离,用于表示随 机变量与其均值的偏离程度。方差较小说明变量的分布比 较集中,反之则说明变量的分布很分散

Var( X ) ? ? 2 ? E{[ X ? E( X )]2 } ? E( X 2 ) ? [ E( X )]2
?

方差的性质
a .Var( c ) ? 0 , c为常数 b .Var( c ? X ) ? c 2 ? Var( X ),c为常数 c .Var( X ? Y ) ? Var( X ) ? Var( Y ),若X与Y相互独立
26

随机变量的数字特征
实例:
x 2 3 4 5 6 7 8 9 10 11 12

f(x)

1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36

? 2 ? E {[ X ? E ( X )]2 }
? ( 2 ? 7) 2 (1 / 36) ? ( 3 ? 7 ) 2 ( 2 / 36) ? ? ? (12 ? 7 ) 2 (1 / 36)] ? 7 2 ? 35 / 6 或? 2 ? E ( X 2 ) ? [ E ( X )]2 ? [4(1 / 36) ? 9( 2 / 36) ? ? ? 144(1 / 36)] ? 7 2 ? 35 / 6
27

随机变量的数字特征
标准差(standard deviation)
?

方差的量纲与变量的量纲不同,为此引入与变量具有相同 量纲的数字特征——标准差,同样度量变量的离散程度

SD ? ? ? Var( X )
?

标准差的性质:

a . SD(c ) ? 0, c为常数 b. SD(c ? X ? b) ? c ? SD( X ), c、b为常数
28

随机变量的数字特征
度量变量离散程度的其他常用指标还有:
?

极差/全距

range ? max( X ) ? min( X )

?

极差率
变异系数

max( X ) I? min( X ) SD( X ) CV ? E( X )

?

?

基尼系数 泰尔系数
29

?

随机变量的数字特征
协方差(covariance)
?

协方差度量两个随机变量的相关(correlation)程度

Cov( X , Y ) ? ? XY ? E{[ X ? E ( X )][Y ? E (Y )]} ? E ( X ? Y ) ? E ( X ) ? E (Y )
?

?

?

协方差大于0表示两个变量正相关(positively correlated), 即其中一个变量随着另一个变量的增大而增大 协方差大于0表示两个变量负相关(negatively correlated), 即其中一个变量随着另一个变量的增大而减小 协方差等于0表示两个变量不相关(uncorrelated)
30

随机变量的数字特征
协方差的性质:

a .若X和Y相互独立,则Cov( X , Y ) ? 0 b.Cov(a ? X , b ? Y ) ? a ? b ? Cov( X , Y ) c . Cov( X , Y ) ? SD( X ) ? SD(Y )

31

随机变量的数字特征
相关系数(correlation coefficient)
?

协方差的大小与度量单位有关,使用不便,因此一般用相 关系数来衡量两个变量的相关程度

? XY

Cov( X ,Y ) ? XY ? ? SD( X ) ? SD( Y ) ? X ? ? Y

显然, ? 1 ? ? XY ? 1 ?a . ? XY ? ?1:X和Y完全负相关 ? ?b . ? 1 ? ? XY ? 0:X和Y负相关 ? ?c . ? XY ? 0:X和Y不相关 ?d . 0 ? ? ? 1:X和Y正相关 XY ? ? ?e . ? XY ? 1:X和Y完全正相关

32

随机变量的数字特征
相关与独立(correlation & independence)
?

相关是指两个随机变量之间的线性关联程度,独立是指两 个变量之间的一般关联程度

?
?

若两个变量相互独立,其相关系数一定为0 若两个变量的相关系数为0,它们不一定独立

33

随机变量的数字特征
条件期望(conditional expectation)
?

如果我们可以用变量X解释变量Y,那么一旦我们知道X取 某个特定的值x,就能够计算出在X=x的条件下Y的期望值, 称为条件期望
n

E (Y | X ? x ) ? ? yi ? f ( yi | X ? x ),如果Y是离散的
i ?1

??
?

??

??

y ? f ( y | X ? x )dy ,如果Y是连续的

实例

E ( wage | education ) ? 2000? 1000 education
34

一些重要的概率分布
正态分布(normal distribution)
?

如果一个随机变量的概率密度函数PDF如下所示,称这个 变量服从正态分布

1 ( x ? ? )2 f( x)? exp(? ), x ? ( ? ?,? ? ), 2 2? ? 2?

? ? E ( X ),? 2 ? Var( X )。记为:X ~ N ( ? ,? 2 )
性质: ( 1 )aX ? b ~ N ( a? ? b , a 2? 2 ) ( 2 )独立同分布的正态变量 的线性组合 服从正态分布

?
36

一些重要的概率分布
标准正态分布(standard normal distribution)
?

如果一个服从正态分布的随机变量的均值为0,方差为1, 称这个变量服从标准正态分布

1 z2 f (z) ? ? (z) ? e xp(? ), z ? ( ? ?,? ?) 2 2? 记为:Z ~ N (0,1) 并记累积分布函数CDF为: ?( z ) ? ?
z ??

1 z2 e xp(? )dz 2 2?

0

37

一些重要的概率分布
Z ~ N (0,1),如果z? 满足条件:P ( X ? z? ) ? ? ,0 ? ? ? 1, 则称z? 为标准正态分布的上?分位点。 a .根据正态分布的对称性 可知:P ( X ? ? z? ) ? ? b.此外,P ( ? z? / 2 ? X ? z? / 2 ) ? P ( X ? z? / 2 ) ? 1 ? ? 例如,查表可知:z0.025 ? 1.96, z0.005 ? 2.57 因而,P ( X ? 1.96) ? 0.95, P ( X ? 2.57) ? 0.99

?

?
z?

1??

0

? z? / 2 0 z? / 2

38

一些重要的概率分布
标准化随机变量(standardized random variable)
如果X ~ N ( ? , ? 2 ),则可以将X转换成标准化正态变量 Z X ?? Z? , Z ~ N ( 0,1)

?

Z具有以下性质: P( Z ? ? z) ? P( Z ? z) P ( Z ? z ) ? 1 ? ?( z ) P ( a ? z ? b ) ? ?( b ) ? ?( a )

39

一些重要的概率分布
?

统计学书籍和计量经济学书籍一般都附有标准化正态变量 的累积分布函数,可以通过转换求解正态变量的概率问题

已知:X ~ N (1,4) 求:P (0 ? X ? 1.6) 解:P (0 ? X ? 1.6) 1.6 ? 1 0?1 ) ? ?( ) 2 2 ? ?(0.3) ? ?( ?0.5) ? ?( ? ?(0.3) ? [1 ? ?(0.5)] ? 0.6179? (1 ? 0.6915 ) ? 0.3094
40

一些重要的概率分布
卡方分布
若随机变量X 1 , X 2 ,? , X n为相互独立的标准化正 态变量,
2 Z ? ? X i2,则称Z服从?(卡方)分布 , 记为:Z ~ ? 2 ( n ) i ?1 n

n称为自由度(df) ( 1 )E ( Z ) ? n ,Var( Z ) ? 2 n ( 2 )? ( n1 ) ? ? ( n2 ) ~ ? ( n1 ? n2 )
2 2 2

n=2

n=5
n=10

41

一些重要的概率分布
2 ? 2 ~ ? 2 ( n ),如果? ? ( n )满足条件: 2 P ( ? 2 ? ?? ( n )) ? ? ,0 ? ? ? 1 , 2 则称? ? ( n )为卡方分布的上?分位点。

例如,查表可知:? 02.1 ( 25 ) ? 34.3816 因而,P ( ? 2 ? 34.3816) ? 0.1

?

2 ?? (n)

42

一些重要的概率分布
t分布(t distribution)
X , Z/n 则称T服从t分布 , 记为:T ~ t ( n ),n为自由度(df) 若X与Z相互独立,X ~ N ( 0 ,1 ),Z ~ ? 2 ( n ),T ? ( a )E ( T ) ? 0 ,Var( T ) ? n /( n ? 2 ) ( b )n足够大时,T ~ N ( 0 ,1 ) ( c )t分布比正态分布扁平

n=120
n=20 n=5
43

一些重要的概率分布
T ~ t ( n ),如果t? 满足条件:P ( T ? t? ) ? ? ,0 ? ? ? 1 , 则称t? 为t分布的上?分位点。 ( 1 ) P ( T ? ? t? ) ? ? ( 2 ) P ( ? t? / 2 ? T ? t? / 2 ) ? P ( T ? t? / 2 ) ? 1 ? ? 例如,查表可知:t 0.025 ( 60 ) ? 2.000, t 0.005 ? 2.660 因而,P ( T ? 2.000 ) ? 0.95 , P ( T ? 2.660 ) ? 0.99

?

?
t?

1??

0

? t? / 2 0 t? / 2

44

一些重要的概率分布
Z 1 / n1 若Z 1和Z 2 相互独立,Z 1 ~ ? ( n1 ),Z 2 ~ ? ( n2 ),F ? , Z 2 / n2
2 2

F分布(F distribution)

则称F服从F分布 , 记为:F ~ F ( n1 , n2 ) ( a )F分布向右偏移 ( b )n 1 、n2足够大时,F分布趋向于正态分布 ( c )F ( 1 , n ) ? t 2 n
F(2,2) F(50,50)

F(10,2)

45

一些重要的概率分布
F ~ F ( n1 , n2 ),如果F? ( n1 , n2 )满足条件: P ( F ? F? ( n1 , n2 )) ? ? ,0 ? ? ? 1 , 则称F? ( n1 , n2 )为F分布的上?分位点。 例如,查表可知:F0.05 ( 12,9 ) ? 2.80 因而,P ( F ? 2.80 ) ? 0.05

?

F? ( n1 , n2 )

46

二、数理统计基础知识
1.

2.

总体与样本 参数估计
a. b.

点估计 区间估计 置信区间法 显著性检验法

3.

假设检验
a. b.

47

总体与样本
总体(population)
?

研究对象的全体,记为X

随机样本(random sample)/样本(sample)
?

在相同条件下对总体X进行n次重复的、独立的观测,每次 观测结果都是与X具有相同分布的、相互独立的随机变量, 记为X1 , X2 , …, Xn ,把它们称为来自总体的一个简单随机 样本,简称样本,称n为样本容量。当观测完成后,得到 一组观测值x1 , x2 , …, xn ,称为样本值
我们感兴趣的实际上是总体,但由于不可能或很难得到总 体的信息,只能从中抽取一个样本,根据样本数据来推断 总体的性质。这其中包含两类问题:参数估计和假设检验
48

?

参数估计
参数(parameters)
?

与总体有关的数字特征。如总体均值、总体方差等等。

参数估计(parameter estimation)
?

根据样本的有关数值来估计总体参数或总体参数的范围 ? 点估计 ? 区间估计

49

点估计
点估计(point estimation)
X 1,X 2, ?,X n是来自总体X的一个样本,x1,x 2, ?,x n是对应于 该样本的样本值,?是待估参数。点估计问题就是根据样本构造
1 2 n , x n ) 蠢 拼 ? 锡 ?? 咂 ? 榔 卡 e stim a to r ? ? 筮 篇 榔 胆 e stim a te ? ? 称 ? 榔

一个函数? ( X ,X , ?,X ),用它的观测值? ( x1,x 2, ?,x n ) 来估计未知参数。前者称为估计量(estimator ),后者称为 估计值(estimate),统称为估计,都简记为? 。
?

?

?

?简 仟

?

?

估计量是样本的函数,对于不同的样本,参数估计值是不同的。
点估计的方法: ? 矩估计法 ? 极大似然法 ? 最小二乘法

?

50

点估计
矩(moment)
总体的k阶原点矩:Ak ? E ( X k ) 总体的k阶中心矩:Bk ? E {[ X ? E ( X )] k } ? 1 n 样本的k阶原点矩: Ak ? ? X ik n i ?1 ? 1 n 样本的k阶中心矩: Bk ? ? ( X i ? X )k n i ?1

矩估计法(method of moment) ? 用样本矩作为相应总体矩的估计量,并用样本矩的连 续函数作为总体矩连续函数的估计量。通过这种方法 得到的估计量称为矩估计量
51

点估计
矩估计法:实例
总体X的均值为?、方差为? 2, X 1、X 2、 ?、X n是来自X的一个样本。 则可以用样本的1阶原点矩估计总体均值 , 用样本的2阶中心矩估计总体方差 。即: ? 1 n ? ? A1 ? X ? ? X i n i ?1 ? ? 1 n 2 ? ? B2 ? ? ( X i ? X ) 2 n i ?1
?
52

点估计
?

极大似然法(method of maximum likelihood)

设总体X的PDF为P ( X ? x ) ? p( x , ? ),?是待估参数,? ? ?。 设X 1 , X 2 , ? , X n是来自X的样本,那么X 1 , X 2 , ? , X n的联合PDF, 即事件( X 1 ? x1 , X 2 ? x 2 , ? , X n ? x n )发生的概率为: L(? ) ? L( x1 , x 2 , ? , x n ;? ) ? ? p( x i , ? ),? ? ?
i ?1 n

L(? )称为样本的似然函数,所谓极大似然法,就是在?可能的 取值范围?内,找到令似然函数达到最大值的估计量? 。 也就是说,要找到使实际观测数据出现的可能性最大的?值。 L(? ) ? L( x1 , x 2 , ? , x n ;? ) ? m ax? p( x i , ? ),? ? ?
i ?1 ? ? n ?

具体解法为:令dL(? ) / d ? ? 0,或者d [l n L(? )] / d ? ? 0

?

?

?

?

53

点估计
?

极大似然法:实例
设总体X的PDF为P ( X ? x ) ? k x ? (1 ? k )1? x , x ? 0,1, X 1 , X 2 , ? , X n是来自X的样本,试求k的极大似然估计值。 解:L( k ) ? ? p( x i , k ) ? ? k ? (1 ? k )
i ?1 i ?1 ? ? ? n ? n ? xi ? 1? x i ?

?k
?

? xi

? (1 ? k )?

?

( 1? x i )

有: l n L( k ) ? ( ? x i ) l n k ? ( n ? ? x i ) l n ( 1 ? k) 若要令上式取极大值, 其一阶导数应为0,即: d l n (k ) dk 解得: k?
? ? ?

x ? ? k
?

i

?

n ? ? xi 1? k
?

?0

1 xi ? x ? n

54

点估计
估计量的评选标准
?

估计量是随机变量,会由于估计方法的不同而不同,那么, 如何判断一个估计量的好坏呢?或者说应该选择哪个估计 量更好呢?有以下几条标准:

针对小样本的标准 a. 无偏性 b. 有效性 针对大样本的标准 a. 一致性 b. 渐进正态性
55

点估计
无偏性(unbiasedness)
如果E ( ? ) ? ? , 那么称? 是?的无偏估计量。
? ?

实例
求证:样本的k阶原点距是总体k阶原点距的无偏估计 1 n 1 n k 证明:E ( Ak ) ? E [ ? X i ] ? ? E ( X ik ) n i ?1 n i ?1
?

1 n 1 ? ? E ( X k ) ? ( nAk ) ? Ak n i ?1 n 特别地,样本的1阶原点距是总体均值的 无偏估计,即: 1 n 1 n 1 E ( A ) ? E [ ? X i ] ? ? E ( X i ) ? ( nA1 ) ? A1 n i ?1 n i ?1 n
?
56

求证:样本的2阶中心距是总体方差的 有偏估计 1 n 1 ( a )Var( X ) ? Var( ? X i ) ? 2 n i ?1 n ? E [( X )2 ] ? ? 2 ( c )E [( X )2 ] ?

? Var( X
i ?1

n

i

)?

?2
n

( b )Var( X ) ? E {( X ? E ( X )] 2 } ? E [( X )2 ] ? [ E ( X )] 2

?2

n ( d ) A2 ? E ( X 2 ) ? E ( X 2 ) ? [ E ( X )] 2 ? [ E ( X )] 2 ? ? 2 ? ? 2 1 n ( e ) E ( B2 ) ? E [ ? ( X i ? X ) 2 ] n i ?1
?

? ?2

1 n 2 n 1 n 2 ? E [ ? X i ? ? ( X i ? X ) ? ? ( X )2 ] n i ?1 n i ?1 n i ?1
? 1 n 2 2 ? E [ ? ( X i )] ? E [( X ) ] ? E ( A2 ) ? E [( X )2 ] n i ?1

? A2 ? E [( X ) ] ? ? ? ? ? (
2 2 2

?2
n

? ?2 ) ?

n?1 2 ? n

57

点估计
有效性(efficiency)

? 1 和? 2 都是?的无偏估计量,如果Var( ? 1 ) ? Var( ? 1 ),
那么称? 1 比? 2 更有效
?
? ?

?

?

?

?

注意:一个无偏的估计量可能存在很大方差,而一个方差 很小的估计量可能是偏离总体均值的,因此有效性综合考 虑了估计量的集中趋势和离散性两个特征

58

点估计
?

实例:有效性和无偏性

总体X的均值为?、方差为? 2, X 1、X 2、 ?、X n是来自X的一个样本。 则E ( X 1 ) ? ?,即X 1是总体均值的无偏估计 量。

由上可知,E( X ) ? ?,即样本均值也是总体 均值的无偏估计量 然而,Var( X 1 ) ? ? ,Var( X ) ?
2

?2
n



所以, X是比X更有效的估计量。

59

点估计
?

线性估计量(linear estimator)
?

如果?的估计量? 是样本观测值的一个线 性函数, 称其为?的一个线性估计量
?

最优线性无偏估计量(best linear unbiased estimator, BLUE)

如果?的线性估计量? 是无偏的,并且在?的所有 线性无偏估计量中具有 最小方差, 称其为?的最优线性无偏估计量
60

?

点估计
一致性(consistence)
?

如果当样本无限增大时 ,?的估计量? 与?之间的距离对于任意

?

? ? 0,都有: lim P ( ? ? ? ? ? ) ? 1, 那么称? 是一致的
n? ??

?

f (? ), n ? 100 f (? ), n ? 80 f (? ), n ? 50 f (? ), n ? 20
? ? ?

?

?

?

?
61

点估计
概率极限(probability limits)
如果? 是?的一致估计量,也称? 是?的概率极限, 或者 ? 依概率收敛于?。记为: p l i m(? ) ? ?,它有以下性质:
n? ? ? ? ? ? ?

a .如果? 是?的一致估计量,那么 p l i mh(? ) ? h(? )
n? ? ?

?

?

b.如果? 1 、 ? 2 分别是? 1、? 2的一致估计量,那么: plim? ( 1 ? ? 2 ) ? ?1 ? ? 2 plim? ( 1 ? ? 2 ) ? ?1 ? ? 2 plim? ( 1/ ? 2 ) ? ?1 / ? 2
62

?

?

? ? ?

?

?

?

点估计
一些重要的估计量:
无偏一致的估计量: ? 1 n ( a )样本均值: X ? E( X ) ? ? X i n i ?1 ? 1 n 2 2 2 ( b )样本方差:S ? ? ? ( X ? X ) ? i n ? 1 i ?1 ? 1 n ( c )样本协方差:S XY ? ? XY ? ( X i ? X )( Yi ? Y ) ? n ? 1 i ?1 有偏一致的估计量: ? ( a )样本标准差:S ? ? ? 1 n ( X i ? X )2 ? n ? 1 i ?1
?

( b )样本相关系数:RXY ? ? XY ?

S XY S X ? SY

63

点估计
?

实例:为了解中国城市失业率,随机抽取了10座城市,得 到如下样本。则我们可以用这10座城市的平均失业率来估 计中国城市的平均失业率 1 2 6.4 3 9.2 4 4.1 5 7.5 6 8.3 7 2.6 8 3.5 9 5.8 10 7.5

城市(i)

失业率(xi) 5.1

? 1 n 样本均值: x ? E ( X ) ? ? x i ? 6.00 n i ?1 ? 1 n 2 2 样本方差:s ? ? ? ( x i ? x ) 2 ? 4.72 ? n ? 1 i ?1 ? 1 n 样本标准差:s ? ? ? ( x i ? x ) 2 ? 2.17 ? n ? 1 i ?1

64

点估计
渐进正态性(asymptotic normality)
?

当样本容量无限增大时估计量趋向于正态分布

中心极限定理(central limit theorem, CLT) ? 定理一(独立同分布的中心极限定理):当样本容量无限 增大时,任何总体的随机样本的均值趋近于正态分布。

若随机变量X 1 , X 2 ,? , X n是X的样本,它们相互独立 , 均值和方差分别为?和? 2,那么: 1 n ?2 X ?? X ? ? Xi ( n ? ??) ~ N( ? , ),即:Z ? ~ N ( 0 ,1 ) n i ?1 n ? n
65

点估计
中心极限定理
? 定理二:李雅普诺夫(Liapunov)定理

若随机变量X 1 , X 2 , ? , X n相互独立,其均值和方差分别为: E ( X i ) ? ? i ,Var( X i ) ? ? i2 , i ? 1,2, ? , n,那么: S ? ? X i ( n ? ? ?) ~ N ( ? ? i , ? ? i2 )
i ?1 i ?1 i ?1 n n n

即:Z ?

S ? ? ?i
i ?1 2 ? ? i i ?1 n

n

~ N (0,1)

66

区间估计
?

对于一个未知参数,除了估计其近似值(点估计)外,还 希望知道这个值的精确程度,从而引出区间估计 (interval estimation)问题

置信区间(confidence interval)
估计量? 1 、 ? 2 都是样本X 1 , X 2 ,? , X n的函数,对于给定的
? ?

? ( 0 ? ? ? 1 ),如果? 1 、 ? 2 满足 : P ( ? 1 ? ? ? ? 2 ) ? 1 ? ?,
那么称随机区间 ( ? 1 ,? 2 )是?的置信系数为1 ? ?的置信区间,
? ? ? ?

?

?

?

?

? 1 和? 2 分别称为置信下限和置 信上限, 1 ? ?称为置信系数。
这意味着随机区间 ( ? 1 ,? 2 )含有?的真值的概率是100( 1 - ? )%
67

?

?

区间估计
?

正态总体均值的区间估计:总体方差已知 随机变量X 1 , X 2 ,? , X n是X的样本,X ~ N ( ? ,? 2 ),? 2已知。
则X ~ N ( ? ,

?2

X ?? ),即: ~ N ( 0 ,1 ), n ?/ n

X ?? 有:P { ? z? / 2 } ? 1 ? ? ?/ n 即:P { X ?

?

n n 因而?的置信系数为1 ? ?的置信区间为: (X?

? z? / 2 ? ? ? X ?

?

? z? / 2 } ? 1 ? ?

?
n

? z? / 2 , X ?

?
n

? z? / 2 )。
68

区间估计
?

实例:总体方差已知时正态总体均值的区间估计
随机变量X 1 , X 2 ,? , X n是X的样本,X ~ N ( ? ,? 2 ),

? 2 ? 625, n ? 100,? ? 0.05, 则?的95%的置信区间为:
625 625 (X? ? z0.05 / 2 , X ? ? z0.05 / 2 ) ? ( X ? 4.9 ) 100 100 即:上述区间包含?的真值的概率为95% 。 如果根据某一样本得到x ? 670, 那么, ( 670 ? 4.9 ,670 ? 4.9 ) ? ( 665.1 ,674.9 )是?的一个95%的置信区间
69

区间估计
?

正态总体均值的区间估计:总体方差未知

随机变量X 1 , X 2 ,? , X n是X的样本,X ~ N ( ? ,? 2 ),? 2未知。 X ?? 则 ~ t ( n ? 1 ),因而?的置信系数为1 ? ?的置信区间为: S/ n S S (X? ? t? / 2 ( n ? 1 ), X ? ? t? / 2 ( n ? 1 )),S ? n n 则?的一个95%的置信区间为: 6.2022 6.2022 ( 503.75 ? ? t 0.05 / 2 ( 15 ),503.75 ? ? t 0.05 / 2 ( 15 )) ? ( 500.4 ,507.1 ) 16 16
70

1 n 2 ( X ? X ) 。 ? i n ? 1 i ?1

譬如,若x ? 503.75 , s ? 6.2022, n ? 16 ,? ? 0.05,

区间估计
?

标准误(standard error)
SD( X ) ?

?
n

,而S是?的点估计,

S 所以 是SD( X )的点估计。 n S ? 定义SE ( X ) ? ? 为 X的标准误,这样, n n 总体均值的1 ? ?置信区间为: ( X ? t? / 2 ? SE ( X ))
?

71

区间估计
?

正态总体均值的区间估计:95%置信区间的简单法则

当n ? ?时,t分布接近于正态分布, 即:t? / 2 ( n ? 1 ) ? z? / 2 , 特别地:t 0.025 ( n ? 1 ) ? z0.025 ? 1.96。 近似地可用( X ? 2 SE ( X ))作为总体均值95% 的置信区间。 如在上例中,SE ( x ) ? 1.5506 ,则?的95%的置信区间近似为: ( 503.75 ? 1.5506? 2 ,503.75 ? 1.5506? 2 ) ? ( 500.6 ,506.9 )

72

区间估计
?

非正态总体均值的区间估计
对于非正态总体,中心极限定理保证了当n ? ?时, 任何分布的样本均值都接近于正态分布, 因此无论总体是否为正态分布, 一个近似的95% 的置信区间为: ( X ? 1.96SE ( X ), X ? 1.96SE ( X ))

73

假设检验
假设检验(hypothesis testing)
?

在总体的PDF未知或某些参数未知的情况下,对总体的分布或 参数提出某些假设,然后根据样本对提出的假设作出是拒绝还 是接受的判断 Bush和Kerry竞选总统,Bush获得42%的选票而Kerry获得 58%的选票。Bush怀疑大选中有作弊行为,雇佣一个咨询机 构随机抽取100个选民调查其选举意愿,发现有53人支持他, 47人支持Kerry。由此Bush提出两个假设:
H0(虚拟假设/原假设,null hypothesis):v<=0.42 (没有作弊) H1(对立假设/备择假设,alternative hypothesis):v>0.42(有作弊)
74

实例:
?

a. b.

假设检验
第Ⅰ类错误(type Ⅰ error)
?

真实情况 H0真 检 验 结 果 拒绝 不拒绝 Ⅰ类错误 无错 H0假 无错 Ⅱ类错误

拒绝了一个真实的虚拟假设 没有拒绝一个错误的虚拟假设

第Ⅱ 类错误(type Ⅱ error)
?

?

理论上我们希望犯两类错误的概率都尽可能小,但事实上不可能同 时最小化两类错误。为此,我们首先考虑减少犯第Ⅰ类错误的概率, 并规定了一个可容忍的犯第Ⅰ类错误的概率 ? (譬如0.05, 0.01), 称为显著性水平(level of significance)。 在选定了显著性水平之后,再考虑把犯第Ⅱ 类错误的概率减到最小。 并把不犯第Ⅱ 类错误的概率1 ? ? 称为检验的功效(power of the test)。但一般来说我们不考虑检验的功效。
75

?

假设检验
假设检验的两种方法
? ?

置信区间法 显著性检验法

?

假设检验的目的不是估计参数,而是对有关参数的假 设做出检验,拒绝或不拒绝提出的假设

77

置信区间法
H 0 : ? ? ?* ; H 1 : ? ? ?* 随机变量X 1 , X 2 ,? , X n是X的样本,X ~ N ( ? ,? 2 ),? 2已知。 因此?的置信系数为1 ? ?的置信区间为( X ? 即:P { ? ? ( X ?

?
n

? z? / 2 ),

?
n

? z? / 2 )} ? 1 ? ?
*

因此,假若给定的? ? ( X ? 反之,若? * ? ( X ?

?
n

? z? / 2 ),就可以拒绝H 0;

?
n

? z? / 2 ),则不能拒绝H 0
78

置信区间法
?

实例:
随机变量X 1 , X 2 , ? , X n是X的样本,X ~ N ( ? , ? 2 ), 已知? 2 ? 625, x ? 670, n ? 100, ? ? 0.05, H 0 : ? ? 680; H 0 : ? ? 680

?的95%的置信区间为:
625 625 ? z0.05 / 2 ,670? ? z0.05 / 2 ) ? (665.1,674.9) 100 100 由于680不在上述区间内, (670? 因此可以以95% 的概率拒绝总体均值等于680 的假设
79

显著性检验法
基本思想
H0 : ? ? ?? ; H1 : ? ? ?? 随机变量X 1 , X 2 ,? , X n是X的样本,X ~ N ( ? ,? 2 ),? 2已知。 X ? ?? 如果H 0 为真,则 ~ N ( 0 ,1 ),因而?与? ?的偏差不应太大。 ?/ n X ? ?? x ? ?? 为此定义检验统计量Z ? ,其观测值为z ? ?/ n ?/ n 对于选定的? , 若 z ? za / 2 , 则无法拒绝H 0,称检验统计量T是统计不显著的; 若 z ? za / 2 , 则拒绝H 0,称检验统计量T是统计显著的
80

显著性检验法
拒绝域(region of rejection)
拒绝原假设的检验统计量的值域(取值范围)称为拒绝域; 拒绝域的边界点称为临界值(critical value) H 0 : ? ? ? ? ; H1 : ? ? ? ?
?

随机变量X 1 , X 2 ,? , X n是X的样本,X ~ N ( ? , ? 2 ),? 2已知。 则H 0的拒绝域为: z ? za / 2,临界点为z ? ? za / 2和z ? za / 2

2.5%

2.5%

0.5%

0.5%

-1.96

0 1.96

-2.57

2.57

81

显著性检验法
?

实例:
随机变量X 1 , X 2 ,? , X n是X的样本,X ~ N ( ? ,? 2 ), 已知? 2 ? 625, x ? 670, n ? 100 H 0 : ? ? 675; H 0 : ? ? 675 x ? ? ? 670 ? 675 z? ? ? ?2 ? / n 25 / 100 a .若选定? ? 0.05 ,由于z? / 2 ? z0.025 ? 1.96,所以 z ? z? / 2 即:在0.05的显著性水平上可以拒 绝原假设H 0 b .若选定? ? 0.01,由于z? / 2 ? z0.005 ? 2.57,所以 z ? z? / 2 即:在0.01的显著性水平上无法拒 绝原假设H 0
82

显著性检验法
? ?
? ? 双尾检验(two-tailed test) H0 : ? ? ? ; H1 : ? ? ? 单尾检验( one-tailed test) 随机变量X 1 , X 2 ,? , X n是X的样本,X ~ N ( ? ,? 2 ),? 2已知。

a .右尾检验:H 0 : ? ? ? ? ; H 1 : ? ? ? ?。H 0的拒绝域为:z ? za b .左尾检验:H 0 : ? ? ? ? ; H 1 : ? ? ? ?。H 0的拒绝域为:z ? ? za

?
z?

?
? z? 0

0

83

显著性检验法
?

正态总体的均值检验和方差检验
检验统计量 H0为真时统计 量服从的分布 对立假设H1 拒绝域

原假设 H0

??? (?已知)
?

X ?? Z? ?/ n

?

N(0,1)

? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ??
2 ? 2 ? ?0

| z |? z a / 2 z ? za z ? ? za | t |? t a / 2 ( n ? 1) t ? t a ( n ? 1) t ? ? t a ( n ? 1)
2 ? 2 ? ?? / 2 ( n ? 1)or

??? (?未知)
?

X ?? T? S/ n

?

t(n-1)
2

? ??
2

2 0

( ?未知)

?2 ?

( n ? 1) S

?

2 0

? 2 (n ? 1)

2 ? 2 ? ?0 2 ? 2 ? ?0

? 2 ? ? 12?? / 2 ( n ? 1)
2 ? 2 ? ?? ( n ? 1)

? 2 ? ? 12?? ( n ? 1)

84

显著性检验法
非正态总体的渐进检验
H 0 : ? ? ? ? ; H1 : ? ? ? ? 对于样本容量足够大的 非正态总体(? 2未知), X ? ?? X ? ?? 若H 0为真,有T ? ? ~ N (0,1), S / n SE ( X ) 因此可以用T作为检验统计量 一般来说, 20 ? n ? 120时习惯上用t分布 n ? 120时使用标准正态分布或 t分布都可以

85

显著性检验法
p值/精确显著性水平(p value or exact level of significance)
根据样本计算出检验统计量的值后,精确地计算出 在多大的显著性水平上可以拒绝原假设,称为p值。
? 对于H 0 : ? ? ? ? ; H 1 : ? ? ?( ? 2未知)

X ? ?? 检验统计量为:T ? ~ t ( n ? 1) S/ n 若根据样本计算出T的观测值为t,则p ? P (| T |?| t |) 譬如,若t ? 2.75,n ? 31,则要求 p ? P (| T |? t? / 2 ( 30)) ? P (| T |? 2.75) 查表可知? ? 0.01,所以p ? 0.01 。 也就是说,拒绝原假设的最低显著性水平是0.01
86

显著性检验法
统计显著性与实际显著性(statistical & practical significance)
统计显著性取决于x和SE ( x ),而从实际的角度看, 我们更关心x,

即所谓实际显著性。因 此,应该同时报告点估 计 x和显著性检验结果。

实例:道路加宽后驾车 所需时间与原先驾车时 间的差值X ~ N ( ? ,? 2 )。 H 0 : ? ? 0,表示道路加宽不会减 少平均驾车时间; H 1 : ? ? 0 , 表示道路加宽减少了平 均驾车时间。 n ? 300, x ? ?3.6 ( 分钟 ),SE ( x ) ? 1.08,由此:t ? ?3.33 结果在统计上显著地拒 绝了H 0,但实际上减少量仅仅 只有3.6分钟。 此外,当样本容量足够 大时,几乎所有的原假 设都会被拒绝, 此时只有点估计值才是 有意义的
87


基础知识点 专题1 第2讲细胞的结构

基础知识点 专题1 第2讲细胞的结构_高三理化生_理化生_高中教育_教育专区。专题...专题一必修 1 细胞的分子组成与结构第2讲第三章 细胞的结构细胞的基本结构 一...

1-2单元基础知识复习(无答案)

1-2单元基础知识复习(无答案)_政史地_初中教育_教育专区。7A UNIT1-2 复习...第 2 页共 4 页 43. Beckham plays football very ___ (good). 44. Jay...

第2讲 彩电基础知识篇

贡献者等级:蜻蜓点水 一级 格式:doc 关键词:暂无1/2 相关文档推荐 ...第2讲 彩电基础知识篇 隐藏>> 第一章 彩电基础知识篇一、电视规格(一)电视尺寸...

【南方新中考】(南粤专用)2015中考物理 第一部分 基础知识 第六单元 第2讲 信息的传递检测复习

【南方新中考】(南粤专用)2015中考物理 第一部分 基础知识 第六单元 第2讲 信息的传递检测复习_理化生_初中教育_教育专区。第 2 讲 信息的传递考点 电磁波及其...

2014高二复习第2讲《导数1》

用心教育加速育才 2014 文科数学教程 2014 高二复习第 2 讲《导数 1》 1.函数 f(x)=(x+2a)(x-a) 的导数为( ) 2 2 2 2 2 2 2 2 A.2(x -a...

第1.2讲PowerPoint2007基础知识

第1.2讲PowerPoint2007基础知识_其它技巧_PPT制作技巧_PPT专区。第1讲 PowerPoint...02随后打开“新建演示文稿”任务窗格, 点选窗格中“模板”栏中的“已安装的...

高考地理第一轮复习 第2讲+基础知识——地图部分

高考地理第一轮复习(第 2 讲 基础知识——地图部分) [考纲要求] 地图上的方向和比例尺。常用图例、注记。海拔(绝对高度)和相对高度。等高线和地形 图。地形...

第1讲 基础知识——地球部分

2008 年高考地理第复习(第 1 讲 基础知识——地球部分) [考纲要求] ...(2)经线:也叫子午线。经线是半圆,所有经线长相等。地球上一切通过地轴平面的 ...

【南方新中考】(南粤专用)2015中考物理 第一部分 基础知识 第四单元 第2讲 电压 电阻检测复习

【南方新中考】(南粤专用)2015中考物理 第一部分 基础知识 第四单元 第2讲 电压 电阻检测复习_理化生_初中教育_教育专区。第 2 讲 电压 电阻 考点 1 电压 1...

2012届高考地理第一轮复习第2讲基础知识—地图部分

2012 届高考地理第一轮复习第 2 讲基础知识—地图部分 [考纲要求] 地图上的方向和比例尺。常用图例、注记。海拔(绝对高度)和相对高度。等高线和地形图。 地形...

相关文档

更多相关标签