Abstract: 本文介绍马尔科夫不等式，切比雪夫不等式，样本均值，和大数定理的知识内容
Keywords: Markov Inequality，Chebyshev Inequality，Sample Mean，The Law of Large Numbers

# 大数定理

1. 我们前面介绍的均值，期望都是针对分布的。
2. 样本的均值不同于分布的均值，但是有很多相似之处。

## 马尔科夫不等式和切比雪夫不等式 The Markov and Chebyshev Inequalities

### 马尔科夫不等式 Markov Inequality

Theorem Markov Inequality.Suppose that $X$ is a random variable such that $Pr(X\geq 0)=1$ .Then for every real number $t>0$ ,
$$Pr(X\geq t)\leq \frac{E(X)}{t}$$

1. 假设 $X$ 有一个离散分布，其p.f.是 $f$
2. 那么 $X$ 的期望是：
$$E(X)=\sum_{x}xf(x)=\sum_{x<t}xf(x)+\sum_{x\geq t}xf(x)$$
3. 因为我们在条件中规定 $X\geq 0$ 那么，上面的求和部分都是大于等于0的。
4. 所以我们有：
$$E(X)=\sum_{x\geq t}xf(x)\geq \sum_{x\geq t}tf(x)=tPr(X\geq t)$$
5. 根据 $t>0$ 得出我们要的结论：
$$E(X)\geq t Pr(X\geq t)\Rightarrow Pr(X\geq t)\leq\frac{E(X)}{t}$$
6. 证毕

### 切比雪夫不等式 Chebyshev Inequality

Theorem Chebyshev Inequality.Let $X$ be a random variable for which $Var(X)$ exists.Then for every number $t>0$ ,
$$Pr(|X-E(X)|\geq t)\leq \frac{Var(X)}{t^2}$$

1. 设 $Y=[X-E(X)]^2$
2. 因为 $Y$ 是一个数的平方，那么我们有 $Pr(Y\geq 0)=1$
3. 根据方差的定义，有 $E[Y]=Var(X)$
4. 根据马尔科夫不等式，我们有 $Pr(Y\geq m)\leq \frac{E(Y)}{m}$ 其中 $m>0$
5. 因为想证明 $|X-E(X)|\geq t$ 形式下的关系，所以我们令 $t^2=m$
6. 所以 $Pr(Y\geq m)=Pr(|X-E(X)|\geq t)\leq \frac{E(Y)}{m}=\frac{Var(X^2)}{t^2}$
7. 所以得到最后结论 $Pr(|X-E(X)|\geq t)\leq \frac{Var(X)}{t^2}$
8. 证毕。

$$Pr(|X-E(X)|\geq 3\sigma)\leq \frac{\sigma^2}{(3 \sigma)^2}=\frac{1}{9}$$

## 样本均值的性质 Properties of the Sample Mean

$$\bar{X_n}=X_1+\dots+X_n$$

Theorem Mean and Variance of the Sample Mean.Let $X_1,\dots,X_n$ be a random sample from a distribution with mean $\mu$ and variance $\sigma^2$ .Let $\bar{X_n}$ be the sample mean.Then $E(\bar{X_n})=\mu$ and $Var(\bar{X_n})=\frac{\sigma^2}{n}$

1. 根据4.2 中的定理
$$E(\bar{X_n})=\frac{1}{n}\sum^{n}_{i=1}E(X_i)=\frac{1}{n}n\mu=\mu$$
2. 根据4.3 中方差的定理
\begin{aligned} Var(\bar{X_n})&=\frac{1}{n^2}Var(\sum^n_{i=1}X_i)\\ &=\frac{1}{n^2}\sum^{n}_{i=1}Var(X_i)\\ &=\frac{1}{n^2}\cdot n\sigma^2\\ &=\frac{\sigma^2}{n} \end{aligned}

$$Pr(|\bar{X}-\mu|\geq t)\leq \frac{\sigma^2}{nt^2}$$

$$Pr(|\bar{X_n}-\mu|\geq 1)\leq \frac{\sigma^2}{n}\leq frac{4}{n}$$

## 大数定理 The Law of Large Numbers

Definition Convergence in Probability.A sequence $Z_1,Z_2,\dots$ of random variables converges to $b$ in probability if for every number $\varepsilon >0$ ,
$$lim_{n\to\infty}Pr(|Z_n-b|<\varepsilon)=1$$
This property is denoted by
$$Z_n\xrightarrow{p} b$$
and sometimes stated simply as $Z_n$ converges to $b$ in probability.

Theorem Law of Large Numbers.Suppose that $X_1,\dots,X_n$ from a random sample from a distribution for which the mean is $\mu$ and for which the variance is finite.Let $\bar{X}_n$ denote the sample mean.Then
$$\bar{X}_n\xrightarrow{p}\mu\tag{6.2.5}$$

1. 对于每一个随机变量 $X_i$ ，我们设其方差为 $\sigma^2$
2. 根据切比雪夫不等式(变形)对于每一个 $\varepsilon>0$ 有：
$$Pr(|\bar{X}_n-\mu|<\varepsilon)\geq 1-\frac{\sigma^2}{\varepsilon^2}$$
3. 再根据样本的方差的性质 $Var(\bar{X}_n)=\frac{\sigma^2}{n}$
4. 那么因此有：
$$Pr(|\bar{X}_n-\mu|<\varepsilon)\geq 1-\frac{\sigma^2}{n\varepsilon^2}$$
5. 于是得到大数定理的结论：
$$lim_{n\to \infty}Pr(|\bar{X}_n-\mu|<\varepsilon)=1\\ \bar{X}_n\xrightarrow{p}\mu$$
6. 证毕

1. 当样本足够多的时候，样本均值和分布均值足够接近的概率非常大
2. 当样本足够多的时候，可以用样本均值来近似分布均值。

2中的用法将在下一篇继续讨论，进而引出中心极限定理，并且能够提出描述这两个均值之间的差。

Theorem Continuous Functions of Random Variables.If $Z_n\xrightarrow{p}b$ ,and if $g(z)$ is a function that is continuous at $z=b$ ,then $g(Z_n)\xrightarrow{p}g(b)$

Corollary Continuous Functions of Random Variables.If $\vec{Z_n}\xrightarrow{p}\vec{b}$ ,and if $g(vec{z})$ is a function that is continuous at $\vec{z}=\vec{b}$ ,then $g(\vec{Z_n})\xrightarrow{p}g(\vec{b})$

Theorem Histogram.Let $X_1,X_2,\dots$ be a sequence of i.i.d. random variables.Let $c_1 < c_2$ be two constants.Define $Y_i=1$ if $c_1\leq X_i<c_2$ and $Y_i=0$ if not .Then $\bar{Y}_n=\frac{1}{n}\sum^{n}_{i=1}Y_i$ is the proportion of $X_1,\dots,X_n$ that lie in the interval $[c_1,c_2)$ ,and $\bar{Y}_n \xrightarrow{p}Pr(c_1\leq X_1<c_2)$

1. 对于独立同分布的随机变量 $Y_1,Y_2,\dots$ 是独立同分布的伯努利随机变量
2. 根据伯努利分布的定义，其参数 $p=Pr(c_1\leq X_1< c_2)$
3. 根据大数定理，$\bar{Y}_n\xrightarrow{p}p$

0%