中心极限定理

概率论中讨论随机变量序列部分和的分布渐近于正态分布的一类定理。1920年,G.波伊亚称这类定理为中心极限定理。它是概率论中最重要的一类定理,有着广泛的实际背景。在自然界与生产中,一些现象受到许多相互独立的随机因素的影响,如果每个因素所产生的影响都很微小时,总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。

独立随机变量的中心极限定理

历史上最初的中心极限定理是讨论 n伯努利试验(见二项分布)中,事件A出现的次数μn渐近于正态分布的问题。若记事件A出现的概率为p(A)=p,不出现的概率为q=1-p,1716年前后,A.棣莫弗p=1/2作了讨论,随后,P.-S.拉普拉斯推广到一般情形,得到:当-∞<α<b<+∞,有

式中

是标准正态分布函数,这就是棣莫弗-拉普拉斯定理。为讨论一般形式的中心极限定理,Α.М.李亚普诺夫改进了∏.Л.切比雪夫创立的矩法,给出了独立随机变量序列{xn}服从中心极限定理的李亚普诺夫条件,其结论称为李亚普诺夫定理:记数学期望方差部分和(称为Sn标准化)。若存在正数δ>0,使当 那么当n→∞,的分布渐近于标准正态分布,即

随着特征函数(见概率分布)的引入,中心极限定理的研究得到了很快的发展。20世纪20年代,Y.W.林德伯格和P.莱维证明了林德伯格-莱维定理:对于独立同分布的随机变量序列{xn},当Exk=α及varxk=σ2有限时,部分和Sn的标准化的分布渐近于标准正态分布。它在数理统计的大样本理论中有重要的应用。1935年,林德伯格和W.费勒又进一步解决了独立随机变量序列的中心极限定理的一般情形,即林德伯格-费勒定理:且费勒条件成立,当且仅当林德伯格条件成立,即对任给正实数τ

式中Fk(x)=p(xkx)。这个结果使长期以来作为概率论中心议题之一的关于独立随机变量序列的中心极限定理得到根本解决。前述诸结果都是它的推论。

此后中心极限定理的研究基本上围绕几个方面进行:一是减弱对随机变量独立性的要求,考虑具有某种相依性的随机变量;一是讨论向标准正态密度函数收敛的问题;再就是估计向正态分布收敛的速度及有关问题。

局部极限定理

向正态密度函数收敛的问题虽然在概率论的早期工作中就出现了,但是一般性结果直至20世纪中期才得到。在棣莫弗-拉普拉斯定理形成的过程中,首先解决的是,在 n重伯努利试验中,事件 A出现的次数μn等于k的概率 pnk)=p(μnk)渐近于正态密度的问题,即所谓棣莫弗-拉普拉斯局部极限定理:在任给的有限区间[с,d]中,对于满足k,一致地成立,,式中是标准正态密度函数。这一结论的推广就是讨论取值为b+Nk(N=0,±1,…)的独立随机变量序列{xk}的相应问题,即格点极限定理。对于独立同分布情形,1948年Б.Β.格涅坚科给出了相当简明的充分必要条件;对于独立非同分布情形,于50年代也给出了充分条件。当独立随机变量序列{xk}的标准化部分和的密度函数pn(x)存在时,讨论pn(x)向标准正态密度函数(x)收敛的问题称为局部极限定理。格涅坚科也于1953年对独立同分布情形给出了十分简洁的充分必要条件,即:当且仅当存在某N,使pNx)有界时,成立对于独立非同分布情形,也在一定假设下由Β.Β.彼得罗夫给出了充分必要条件。

相依随机变量的中心极限定理

这一问题至今仍是许多概率论学者所注意的课题,其中讨论得较多且获得实际应用的有m 相依随机变量序列、强平稳随机变量序列、鞅、马尔可夫过程及其他泛函,以及各种类型的统计量序列。对于这些序列在附加一定条件时,中心极限定理也成立。这便使得许多实际问题中的随机变量或随机过程可视为正态的。

收敛速度的估计

为了讨论向正态分布收敛的速度,20世纪40年代,先后由A.C.贝里及C.G.埃森给出了下述著名的埃森不等式:对于独立随机变量序列{xn},记其标准化部分和的分布函数为Fn(x),当(k=1,2,…)时,便有其中A是常数,这一不等式给出了向正态分布收敛时误差的精确估计。这方面的研究已相当深入。

大偏差定理

对于独立同分布的随机变量序列{xn},若,则对标准化部分和及任意的M>0,当0≤xM时,一致地成立:

如果x的上界M随着n的增大而单调趋于无穷,则与上述结果类似的定理称为大偏差定理。这类结果在诸如重对数律(见大数律)的研究中是很重要的。确切地说,设Mnn单调上升,且如果成立:

则称对 Mn大偏差定理成立。1938年,H.克拉默在渐近展开的基础上证明,若存在正常数H,使当|t|<H 时, 则对 大偏差定理成立。以后,ю.Β.林尼克等又给出了对(其中b)为正常数,),大偏差定理成立的充分必要条件。大偏差定理还有种种重要的推广,正吸引着一些概率论学者的注意。

普遍极限定理

早在20世纪30年代,就开始注意到如下普遍极限问题:考察在每一行内独立的随机变量阵列的行和对于适当选取的常数An,随机变量Sn-An的极限分布有哪些?收敛的充分必要条件是什么?这是独立随机变量和的极限定理的最一般提法,到40年代中期,已获得较完满的解决。可以证明,在适当条件下,这一类极限分布是无穷可分分布。记分布函数F(x)的特征函数为ƒ(t),若对任一正整数n,有特征函数ƒn(x)使得ƒ(t)=[ƒn(t)]n,就称分布函数F(x)(对应地,特征函数ƒ(t))为无穷可分的。单点分布、泊松分布、正态分布、柯西分布(见概率分布)等都是无穷可分分布。无穷可分的特征函数ƒ(t)有著名的莱维-辛钦表示

式中参数у 是实数,G(u)是满足G(-∞)=0的有界非降函数,称为 ƒ(t)的莱维-辛钦谱函数。ƒ(t)的另一表示是

此公式称为莱维表示。

若对随机变量xnk不加任何限制,则任一分布都可作为某个阵列的行和Sn的极限分布。按照物理学的启示,在30年代就提出了无穷小条件的概念,这一条件要求Sn的每一个别加项xnk,当n很大时,所起的作用都很微小:即对任何 Α.Я.辛钦于1937年证明,满足无穷小条件的独立随机变量阵列{xnk}的行和Sn,对于适当的常数AnSn-An的可能的极限分布的全体,就是无穷可分分布族。随后,1944年格涅坚科利用莱维-辛钦表示,给出了Sn的分布函数收敛于无穷可分分布函数F(x)的充分必要条件是:

(1)

(2)式中;τ是任给的常数;у及Gx)分别是 F(x)的特征函数的莱维-辛钦表示式中的参数及谱函数,而是指在G(x)的一切连续点上Fn(x)→Gx),且Fn(+∞)→G(+∞),Fn(-∞)→G(-∞)。1947年,中国数学家许宝也曾经独立地给出了满足无穷小条件的独立随机变量阵列的行和依分布收敛于某无穷可分分布的充分必要条件。

由普遍极限定理,可列出向正态分布、泊松分布及退化分布收敛的最一般条件。例如,满足无穷小条件的独立阵列的行和向正态分布 N(ασ2)收敛的充分必要条件是:

(1)对任给

(2)存在ε>0,使

(3)存在ε>0,使

这是中心极限定理的最一般结果。林德伯格-费勒定理等都可由它推出。

在讨论普遍极限定理的同时,辛钦于1936年考虑了限于独立随机变量序列{xn}的“普遍极限问题”,就是讨论对适当选取的常数Bn>0与An的极限分布族及依分布收敛的条件。在无穷小条件的限制下,这类的极限分布族是无穷可分分布族的一个子族,叫做L族。莱维在1946年运用无穷可分特征函数的莱维表示给出了F(x)属于L族的充分必要条件。随后,格涅坚科等又给出了 的分布向L族某分布收敛的充分必要条件。

当随机变量序列{xn}限于独立且同分布时,的极限分布族就称为稳定律族φ,显然 φ是L族的子族。莱维与辛钦于1936年通过特征函数的另一种特定的表示给出了分布函数Fx)为稳定律的充分必要条件。莱维、辛钦与费勒又各自独立地给出了独立同分布为 F0(x)的随机变量序列{xn}服从中心极限定理的充分必要条件是

格涅坚科和W.多布林还各自独立地给出了收敛于某稳定律的充分必要条件。

极限定理是概率论的重要内容,也是数理统计的基石之一,其理论成果也比较完美。长期以来,对于极限定理的研究所形成的概率论分析方法,影响着概率论的发展。同时新的极限理论问题也在实际中不断产生。