大数定律和中心极限定理type
status
date
slug
summary
tags
category
icon
password
Property
基本不等式
马尔可夫(Markov)不等式
马尔可夫不等式把概率关联到数学期望，给出了随机变量的分布函数一个宽泛但仍有用的界。
令为非负随机变量，且假设存在，则对任意的有
进一步
马尔可夫不等式是用来估计尾部事件的概率上界，一个直观的例子是：如果是工资，那么就是平均工资，假设 ，即平均工资的倍。那么根据马尔可夫不等式，不超过的人会有超过平均工资的倍的工资。
证明如下：
切比雪夫不等式
切比雪夫不等式是马尔科夫不等式的特殊情况。
若随机变量 的数学期望和方差都存在，分别设为 和 ，则对任意的 ，有：
通过马尔可夫不等式可证明：
切比雪夫不等式没有限定分布的形式，所以应用广泛，但这个界很松。
代表和期望 之间的距离，相差越大，则概率越小，它描述了这样一个事实：事件大多会集中在平均值附近。
切比雪夫不等式的推广
的均值是，阶中心距有：
切比雪夫单边不等式
的均值是，方差是，那么
大数定理
假设每次独立重复的去做一个试验，比如掷骰子，当试验次数足够大的时候，每一个子事件发生的频率都会无限的接近它的概率（比如扔了100000次骰子，那么你扔出1的次数估计在16666次左右）。大数定律证明了这种现象的客观真实性
弱大数定理（辛钦大数定理）
设为相互独立且服从同一分布的随机变量序列，且具有数学期望 ，作前 个变量的算术平均值 ，那么对于 ，有：
也就是说无穷大的时候，这个统计量会和无限接近。毕竟是的无偏估计。
证明：
首先需要假设方差存在，设，那么由于
结合Chebyshev不等式，有
所以只需要令 ，根据夹逼定理就可以得到结论
伯努利大数定理
是次独立实验中，事件发生的概率；是事件在每次实验中发生的概率。
中心极限定理
这个定理是想告诉我们：大量的相互独立的随机因素的综合影响形成的结果往往近似的服从正态分布
Lindberg-Levy中心极限定理
前提： 独立同分布，且 ，总有
该定理说明，当 很大时，随机变量近似地服从标准正态分布，因此，当很大时，近似地服从正态分布，样本均值拔近似服从均值为，方差为 的正态分布
由中心极限定理得出的几个结论
- 不管进行多少次抽样，每次抽样都会得到一个均值。当每次抽取的样本容量足够大时，样本均值总会围绕总体均值附近，呈现正态分布。
- 当样本容量足够大时，样本均值构成正态分布，样本均值近似等于总体均值，而样本方差等于总体方差除以，即 。
- 样本均值分布的标准差，称之为标准误差，简称“标准误”。
De Moivre-Laplace 中心极限定理
其实就是 Levy 的特殊情况，是0-1分布，那么：
二项分布趋近于正态分布。有时可以用来做一些近似计算之类的。