谭升
非主流人工智能科学家 我和外面那些妖艳的货不一样

【概率论】5-7:Gama分布(The Gamma Distributions Part I)

Gama分布

今天的废话就是如果看书的时候没看透彻,写博客的时候就会不知所言,所以一定要学透了再总结,没学好就总结,会逻辑混乱
本文介绍了另一个非常有用的连续随机变量的分布族——Gamma分布,学习Gamma分布的适用场景和部分性质,以及一个贯穿始终的例子,排队时间,排队不只是人的排队,在计算机高性能计算,比如CUDA中,任务的排队也是有的,所以这个模型适用场景还是比较多的,虽然可能不如正态分布在自然界中那么普遍,但是在正随机变量中,Gamma分布族在连续分布中举足轻重。

伽马函数 The Gamma Function

在提出Gamma分布之前,我们先来认识一个非常有趣的函数,这个函数叫做Gamma函数。
首先来看个例子:
我们在给一灯泡的寿命建模,根据我们经验,这个灯泡的寿命越长,发生的概率越小,时间越短,则概率越高,寿命是0的我们不考虑,我们只考虑从0开始但不包括零,我们用下面的这个模型建模是合理的,之所以说是合理的而不是唯一的,是因为这个模型不具备唯一性:

$$
f(x)=
\begin{cases}
e^{-x}&\text{for} x>0\\
0&\text{otherwise}
\end{cases}
$$

我们在没有大量数据或者试验情况下无法验证模型正确性,但是从目前来看好像和我们知道的先验知识吻合,所以我们就假定其是合理的,然后我们求这个灯泡的均值和方差:

$$
E(X)=\int^{\infty}_{0}xe^{-x}dx\\
Var(X)=\int^{\infty}_{0}x^2e^{-x}dx
$$

注意,第二个方差的计算我觉都有点问题,因为按照这个积分,是把均值当做 $\mu=0$ 来计算的,但是均值是从0到正无穷的积分,所以均值不会是0,所以这个方差公式我们留意一下(如果有人知道我哪错了,可以给我留言,谢谢)
这个均值的计算是一个有趣的函数。
我们来回忆一下,我们的函数都是什么样子的,我们目前学过的函数大多数都是由初等函数经过计算得到的,比如 $e^{x^2+\alpha sin(y)}$ 是指数计算组合了多项式和三角函数得到的一个新函数,当然,我们学了积分,微分运算后,我们可以用积分来生成新的函数,比如,我们把上面求均值的积分,定义为一个新函数,这个函数叫做Gamma函数

Definition 5.7.1 The Gamma Function.For each positive number $\alpha$ ,let the value $\Gamma(\alpha)$ be defined by the following integral:
$$
\Gamma(\alpha)=\int^{\infty}_{0}x^{\alpha-1}e^{-x}dx=1
$$
The function $\Gamma$ defined by Eq.(5.7.1) for $\alpha>0$ is called the gamma function.

这就是Gamma函数的定义,这个希腊字母 $\Gamma$ 读作 “Gamma” 注意,这个函数的自变量是 $\alpha$ 而 $x$ 只是积分中的一个哑变量,没作用,可以写作任何变量。
在举个🌰 :
$$
\Gamma(1)=\int^{\infty}_{0}x^{1-1}e^{-x}dx=1
$$

上面的例子和接下来内容都说明了 $\Gamma(\alpha)$ 对于所有 $\alpha>0$ 都是有限的。

Theorem 5.7.1 If $\alpha>1$ then
$$
\Gamma(\alpha)=(\alpha-1)\Gamma(\alpha-1)
$$

证明一下这个性质:
因为 $\Gamma$ 是用积分定义的,所以我们现在用分部积分来计算产生上面的定理:
我们令 $u=x^{\alpha-1}$ 以及 $v=-e^{-x}$ 那么我们就会有 $du=(\alpha-1)x^{\alpha-2}dx$ 以及 $dv=e^{-x}dx$ 那么就有

$$
\begin{aligned}
\Gamma(\alpha)&=\int^{\infty}_{0}udv=[uv]^{\infty}_{0}-\int^{\infty}_{0}vdu\\
&=[-x^{\alpha-1}e^{-x}]^{\infty}_{x=0}+(\alpha-1)\int^{\infty}_{0}x^{\alpha-2}e^{-x}dx\\
&=0+(\alpha-1)\Gamma(\alpha-1)
\end{aligned}
$$

使用分部积分法就把原始表达式转化成了一个乘法的递归式。从而证明了结论。进一步根据此性质能推导出下面这条关键性质。

Theorem 5.7.2 For every positive integer $n$ ,
$$
\Gamma(n)=(n-1)!
$$

证明:
对于$n\geq 2$ 我们有:

$$
\begin{aligned}
\Gamma(n)&=(n-1)\Gamma(n-1)=(n-1)(n-2)\Gamma(n-2)\\
&=(n-1)(n-2)\dots1\cdots \Gamma(1)\\
&=(n-1)!
\end{aligned}
$$

因为我们在上面的例子中知道 $\Gamma(1)=1=0!$ 所以结论正确。
证毕

在实际的统计应用中 $\alpha$ 是正整数,或者 $\alpha=n+\frac{1}{2}$ 其中 $n$ 是正整数。
我们来计算下 $\Gamma(n+\frac{1}{2})=(n-\frac{1}{2})(n-\frac{3}{2})\dots\frac{1}{2}\Gamma(\frac{1}{2})$
这个式子的关键是最后那个积分的部分,令 $x=(1/2)y^2$ 那么 $dx=ydy$:
$$
\Gamma(\frac{1}{2})=2^{\frac{1}{2}}\int^{\infty}_{0}e^{(-\frac{1}{2})y^2}dy
$$

代换后里面积分的形状和正态分布一致,但是积分范围不同,正态分布的积分形式是 $\int^{\infty}_{-\infty}e^{(-\frac{1}{2})y^2}dy=(2\pi)^\frac{1}{2}$,所以积分里面的结果是正态分布的一半 $(\frac{\pi}{2})^{\frac{1}{2}}$ 然后有根据正态分布的性质,上面的最终结果是

$$
\Gamma(\frac{1}{2})=\pi^{\frac{1}{2}}
$$

这就是Gamma函数的一些典型用法和数学特性,接下来的定理帮我们提出后面的Gamma分布。

Theorem 5.7.3 For each $\alpha>0$ and each $\beta>0$ ,
$$
\int^{\infty}_{0}x^{\alpha-1}e^{-\beta x}dx=\frac{\Gamma(\alpha)}{\beta^{\alpha}}
$$

为了证明上面的定理成立,我们还是使用变量代换的方法 $-y=-\beta x$ 于是 $x=\frac{y}{\beta}$ 以及 $dx=\frac{dy}{\beta}$ 然后根据定义5.7.1 $\Gamma(\alpha)=\int^{\infty}_{0}x^{\alpha-1}e^{-x}dx$ 得到结论

$$
\begin{aligned}
&\int^{\infty}_{0}x^{\alpha-1}e^{-\beta x}dx\\
&=\frac{1}{\beta}\int^{\infty}_{0}(\frac{y}{\beta})^{\alpha-1}e^{-y}dy\\
&=\frac{1}{\beta^\alpha}\int^{\infty}_{0}y^{\alpha-1}e^{-y}dy\\
&=\frac{\Gamma(\alpha)}{\beta^{\alpha}}
\end{aligned}
$$

本定理是对定义5.7.1的一个扩展,把 $e$ 的指数从 $-x$ 扩展到了 $\beta x$
原书上给出的证明过程有些问题,从第二步到第三步似乎缺少一个负号,或者定理写的就有有问题,缺少一个负号,因为积分中 $x^{\alpha-1}$ 积分结果是 $\infty$ 然后 $e^{\beta}x$ 因为 $\beta>0$ 所以这个积分结果也是 $\infty$ 所以我认为这个公式应该是少了一个负号。(个人认为《Probability and Statistics 4th》影印版 P318 存在错误,所以我给他补上了一个负号,如果我错了,请及时指出)

然后我们继续拿出前面提到的Stirling 公式的另一个版本。

Theorem 5.7.4 Stirling’s formula:
$$
lim_{x\to \infty}\frac{(2\pi)^{1/2}x^{x-1/2}e^{-x}}{\Gamma(x)}=1
$$

这个证明没有给出,我尝试的证明了一下,确实有点困难,所以我们就假装我们会证明就行了。


接下来这个例子非常给力了,会给出Gamma分布的实际用途:
假设一个队列里有 $i=1,2,\dots$ 个顾客,当这个顾客开始被服务时,需要 $X_i$ 个单位的时间,我们假设 $Z$ 是这些顾客的平均速度,我们要建立个模型是在 $Z=z$ 的条件下,$X_1,\dots,X_n$ 的分布(我们的目标),其中$X_1,\dots,X_n$ 是在 $Z=z$ 条件下的i.i.d(也就是独立同分布).每个 $X_i$ 的p.d.f. 为 $g_1(x_i|z)=z e^{-zx_i}$ 其中 $x_i>0$ 假设 $Z$ 同样是一个随机变量有分布 $f_2(z)=2e^{-2z}$ 其中 $z>0$ 那么 $X_1,\dots,X_n,Z$ 满足以下关系(i.i.d.的联合分布等于其边缘分布的乘积,条件情况下依旧成立,前面学过的)

$$
\begin{aligned}
f(x_1,\dots,x_n,z)&=[\Pi^{n}_{i=1}g_1(x_i|z)]f_2(z)\\
&=2z^ne^{-z[2+x_1+\dots+x_n]}
\end{aligned}
$$

上式为5.7.11

我们关心的是$X_1,\dots,X_n$ 的分布,$Z$ 在这里只是个条件,所以我们要对 $z$ 进行积分,结合定理5.7.3 $\int^{\infty}_{0}x^{\alpha-1}e^{-\beta x}dx=\frac{\Gamma(\alpha)}{\beta^{\alpha}}$ 让 $\alpha=n+1$ 以及 $\beta=2+x_1+\dots+x_n$ 。再加上定理 5.7.2: $\Gamma(n)=(n-1)!$ 整合 $2z^ne^{-z[2+x_1+\dots+x_n]}$ 。就能得到:

$$
\begin{aligned}
f_n(x_1,\dots,x_n|z)&=\int^{\infty}_{0}f(x_1,\dots,x_n,z)dz\\
&=\frac{2(n!)}{(2+\sum^{n}_{i=1}x_i)^{n+1}}
\end{aligned}
$$

上式为5.7.12
当 $x_i>0$ 时为上面的情况,其他情况为0(我们不要纠结 $g_1(x_i|z)=z e^{-zx_i}$ 和 $f_2(z)=2e^{-2z}$ 是哪里来的)


接下来我们开始Gamma分布,在Gamma分布之前请务必把上面的例子看明白。

伽马分布 The Gamma Distributions

继续上面的例子,我们假设我们得到了n个顾客的服务时间,我们可以很轻松的计算出每个客户的服务速度 $Z$ 我们可以得到 $X_1,\dots,X_n$ 条件下 $Z$ 的条件分布 $g_2(z|x_1,\dots,x_n)$
我们用5.7.11除以5.7.12 并且其中令 $y=2+\sum^{n}_{i=1}x_i$ 我们就能得到:

$$
g_2(z|x_1,\dots,x_n)=
\begin{cases}
\frac{y^{n+1}}{n!}e^{-yz}&\text{for }z>0\\
0&\text{otherwise}
\end{cases}
$$

这个例子中的p.d.f.就是我们今天要研究的对象,Gamma分布。

Definition 5.7.2 Gamma Distributions.Let $\alpha$ and $\beta$ be positive numbers.A random variable $X$ has the gamma distribution with parameters $\alpha$ and $\beta$ if $X$ has a continuous distribution for which the p.d.f. is
$$
f(x|\alpha,\beta)=
\begin{cases}
\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x}&\text{ for } x>0\\
0&\text{otherwise}
\end{cases}
$$

根据定理5.7.3 结果是1.
Gamma分布长这个样子

接着我们研究一下gamma分布的距,进而能得到均值和方差。

Theorem 5.7.5 Moments.Let $X$ have the gamma distribution with parameters $\alpha$ and $\beta$ For $k=1,2,\dots$
$$
E(X^k)=\frac{\Gamma(\alpha+k)}{\beta^k\Gamma(\alpha)}=\frac{\alpha(\alpha+1)\dots(\alpha+k-1)}{\beta^k}
$$
In particular $E(X)=\frac{\alpha}{\beta}$ , and $Var(X)=\frac{\alpha}{\beta^2}$

证明:
$k=1,2,\dots$ 然后我们有

$$
\begin{aligned}
E(X^k)&=\int^{\infty}_{0}x^kf(x|\alpha,\beta)dx\\
&=\frac{\beta^\alpha}{\Gamma(\alpha)}\int^{\infty}_{0}x^{\alpha+k-1}e^{-\beta x}dx\\
&=\frac{\beta^\alpha}{\Gamma(\alpha)}\cdot \frac{\Gamma(\alpha+k)}{\beta^{\alpha+k}}\\
&=\frac{\Gamma(\alpha+k)}{\beta^k\Gamma(\alpha)}
\end{aligned}
$$

然后就能得到结论了,包括均值和方差。

Theorem 5.7.6 Moment Generating Function.Let $X$ have the gamma distribution with parameters $\alpha$ and $\beta$ .The m.g.f. of $X$ is
$$
\psi(t)=(\frac{\beta}{\beta-t})^\alpha \text{ for }t<\beta
$$

证明如下:

$$
\psi(t)=\int^{\infty}_{0}e^{tx}f(x|\alpha,\beta)dx=\frac{\beta^\alpha}{\Gamma(\alpha)}\int^{\infty}_{0}x^{\alpha-1}e^{-(\beta-t)x}dx
$$

上述积分在 $t<\beta$ 时是有限的,那么当 $t<\beta$ 时:
$$
\psi(t)=\frac{\beta^\alpha}{\Gamma(\alpha)}\cdot\frac{\Gamma(\alpha)}{(\beta-t)^{\alpha}}=(\frac{\beta}{\beta-t})^\alpha
$$

然后就能得到结论,有同样参数 $\beta$ 的gamma分布的独立的随机变量,他们的和还是gamma分布。

Theorem 5.7.7 If the random varibale $X_1,\dots,X_n$ are independent,and if $X_i$ has the gamma distribution with parameters $\alpha_i$ and $\beta(i=1,\dots,k)$ ,then the sum $X_1+\dots+X_k$ has the gamma distribution with parameters $\alpha_1+\dots+\alpha_k$ and $\beta$

根据m.g.f.的性质,独立的随机变量的和的m.g.f.是其m.g.f.的积,那么我们证明如下:
$$
\psi_i(t)=(\frac{\beta}{\beta-t})^{\alpha_i} \text{ for }t<\beta\\
\psi(t)=\Pi^{k}_{i=1}\psi_i(t)=(\frac{\beta}{\beta-t})^{\alpha_1+\dots+\alpha_k} \text{ for }t<\beta
$$
那么我们就可以看出这个 $\psi$ 对应的也是gamma分布,其中 $\alpha=\alpha_1+\dots+\alpha_k$ 并且 $\beta$ 不变。

总结

至此我们大概的学习了一下 Gamma分布,下一篇我们继续从Gamma上扩展出指数分布。
待续。。

Share

You may also like...

说点什么

avatar
  Subscribe  
提醒

由于博客移至wordpress,部分公式和代码显示不正常,博主正在努力修改,如发现公式显示错误,请及时在文章下留言,感谢您的帮助,尽请原谅!