机器学习|切比雪夫、辛钦和贝努里大数定律|15mins入门|概统学习笔记（十四）

背景：概率论与数理统计是研究随机现象统计规律性的学科。随机现象的规律性只有在相同的条件下进行大量重复试验时才会呈现出来。而研究大量的随机现象，常常采用极限形式，由此导致对极限定理进行研究，极限定理的内容很广泛，其中最重要有两种：大数定律和中心极限定理。

大数定律

• 客观背景：（随机现象最根本的性质之一）大量的随机现象中平均结果的稳定性，如大量抛掷硬币正面出现的频率

• 几种常见的大数定律

  • 定理1：切比雪夫大数定律

    设X1,X2,…X_1,X_2,…X1​,X2​,...是相互独立的随机变量序列，它们都有有限的方差，并且方差有共同的上界，即D(Xi)≤K,i=1,2,…D(X_i)leq K,i=1,2,…D(Xi​)≤K,i=1,2,...,则对任意的$ϵ>0$
    limn→∞P{∣1n∑i=1nXi−1n∑i=1nE(Xi)∣<ϵ}=1lim_{nto infty}P{|frac{1}{n}sum_{i=1}^nX_i-frac{1}{n}sum_{i=1}^nE(X_i)|<epsilon}=1 limn→∞​P{∣n1​i=1∑n​Xi​−n1​i=1∑n​E(Xi​)∣<ϵ}=1
    证明切比雪夫大数定律主要的数学工具是切比雪夫不等式

    即设随机变量X有期望$E(X)$和方差σ2sigma^2σ2，则对于任给$ϵ>0$，有
    P{∣X−E(X)∣<ϵ}≥1−σ2ϵ2P{|X-E(X)|<epsilon}geq 1-frac{sigma^2}{epsilon^2} P{∣X−E(X)∣<ϵ}≥1−ϵ2σ2​
    意义：切比雪夫大数定律给出了平均值稳定性的科学描述.它表明，独立随机变量序列{Xn}{X_n}{Xn​}，如果方差有共同的上界，则1n∑i=1nXifrac{1}{n}sum_{i=1}^nX_in1​∑i=1n​Xi​与其数学期望1n∑i=1nE(Xi)frac{1}{n}sum_{i=1}^nE(X_i)n1​∑i=1n​E(Xi​)偏差很小的概率接近于1。

    即当n充分大时，1n∑i=1nXifrac{1}{n}sum_{i=1}^nX_in1​∑i=1n​Xi​差不多不再是随机的了，取值接近于其数学期望的概率接近于1。

  • 定理2：独立同分布下的大数定律

    设X1,X2,…X_1,X_2,…X1​,X2​,...是独立同分布的随机变量序列，且E(Xi)=μ,D(Xi)=σ2,i=1,2,…E(X_i)=mu,D(X_i)=sigma^2,quad i=1,2,…E(Xi​)=μ,D(Xi​)=σ2,i=1,2,...，则对任给$ϵ>0$，有
    limn→∞P{∣1n∑i=1nXi−μ∣<ϵ}=1lim_{nto infty}P{|frac{1}{n}sum_{i=1}^nX_i-mu|<epsilon}=1 limn→∞​P{∣n1​i=1∑n​Xi​−μ∣<ϵ}=1
    辛钦大数定律：上述中，不要求随机变量的方差(D(Xi)=σ2D(X_i)=sigma^2D(Xi​)=σ2)存在。

    意义：辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径

    例如，要估计某地区的平均亩产量，要收割某些有代表性的地块，例如n 块. 计算其平均亩产量，则当n 较大时，可用它作为整个地区平均亩产量的一个估计.

  • 定理3：贝努里大数定律（是定理2的一种特例）

    设SnS_nSn​是n重贝努里试验中事件A发生的次数，p是事件A发生的概率，引入

  Xi={1,第i次试验A发生0,第i次试验A不发生X_i=begin{cases}1, & 第i次试验A发生 \0, & 第i次试验A不发生end{cases} Xi​={1,0,​第i次试验A发生第i次试验A不发生​

  ​ 其中$i=1,2,...,n$，则Sn=∑j=1nXiS_n=sum_{j=1}^nX_iSn​=∑j=1n​Xi​

  ​ 而Snn=1n∑i=1nXifrac{S_n}{n}=frac{1}{n}sum_{i=1}^nX_inSn​​=n1​∑i=1n​Xi​是事件A发生的频率

  ​ 则对任给的$ϵ>0$，
  limn→∞P{∣Snn−p∣<ϵ}=1lim_{nto infty}P{|frac{S_n}{n}-p|<epsilon}=1 limn→∞​P{∣nSn​​−p∣<ϵ}=1
  ​ 或
  limn→∞P∣Snn−p∣≥ϵ=0lim_{nto infty}P{|frac{S_n}{n}-p|geq epsilon}=0 limn→∞​P∣nSn​​−p∣≥ϵ=0
  ​ 意义：贝努里大数定律提供了通过试验来确定事件概率的方法。它表明，当重复试验次数n充分大 时，事件A发生的频率Sn/nS_n/nSn​/n与事件A的频率p有较大偏差的概率很小。