【概率论】4-5:均值和中值(The Mean and the Median)

Abstract: 本文介绍均值和中值的对比,以及最小平方误差,最小绝对误差
Keywords: Mean,Median,Mean Squared Error,Mean Absolute Error

均值和中值

昨天犯了个大错误,google分析配置出错了,所以这两天博客访问一直显示零,所以昨天都很沮丧,生活有时候就这样,一些错误,后果非常让人非常沮丧,我们在面对这些沮丧的结果时的态度能决定我们的所有。
均值是度量分布中心位置的一种方法,中值也是,这就是我们上一篇说到的,关于一个属性的定义,我们现在定义分布的中心位置,就有了两种方法,这两种都能定义中心的合理方法,各有各的优点,也有自己的缺点,所以我们今天就来对比下这两种中心位置的数字特点。

中位数 The Median

4.1中介绍过一个分布的的期望,是在随机变量所在的数轴的重心位置,这种角度下,期望是一个中心位置。
另一种就是假设存在某个随机变量 m0 小于 m0 对应的概率是 1/2 大于 m0 的对应概率为 1/2 这从某种意义上说也是一个中心位置。
两个不一样的定义方式,就有两种不同的方法用于不同的问题
最简单的例子就是图像处理里面两种不同的滤波,均值滤波和中值滤波,对应处理的噪声也完全不同。
均值,也就是期望我们已经研究了4篇了,今天我们主要研究一下中值,虽然在c.d.f中有介绍,但是我们还是重新说说。
值得一提的是与均值不同,分布的均值可以有一个或者没有,而中值可以有一个,还可以有很多个,这个我们后面会说到。

Definition Median.Let X be a random varibale.Every number m with the following prperty is called a median of the distribution of X:
Pr(Xm)1/2  and Pr(Xm)1/2

中值的定义如上,还有一种跟奇特的说法和上面是等价的。

Firest,if m is included with the values of X to the left of m,then
Pr(Xm)Pr(X>m)

seconde ,if m is included with the values of X to the right of m,then
Pr(Xm)Pr(X<m)

If there is a number m such that Pr(X<m)=Pr(X>m) ,that is,if the number m does actually divide the total Probability into two equal parts,then m will of course be a median of the distribution of X

两种定义中值的方法得到一样的结果。值得注意的就是一点,中值可能不止一个,当中值不止一个的时候我们这里选用最小的作为中值,当然,也可以选中间的,或者最大的,这取决于你自己的需求。

文章写到这里,书上开始写🌰,目测有一斤🌰 。例子的核心就是中值不一定只有一个。

均值和中值的比较 Comparison of the Mean and the median

最重要的一个区别就是期望有些分布是没有的,但是中值绝对存在,而且有很多时候还不止一个。所以对于某些应用中值的稳定性更好,最简单的例子就是我们伟大祖国各个城市的平均收入贼高,但是你和周围的小伙伴总发现自己拖后腿,那么这时候平均值可能真的不能反映实际的情况,需要用中值,如果你的工资连中值都没到,说明你确实不行,你说你比不过马云马化腾我们理解,你连你隔壁都不如,那就是你的问题了。
下面定义一个双射函数,这个证明我不写了,书上有,但是我觉得不完美,因为我马上要在数学分析那个系列里面讲这个情况,所以这里只给出定理,着急的小伙伴就自己查查资料,不着急的,等我数学分析。

Theorem One-to-One Function.Let X be a random variable that takes values in an interval I of real numbers.Let r be a one-to-one function defined on the interval I.If m is a median of X ,then r(m) is a median of r(X)

其实用到的主要特性是双射函数的可逆性质,换句话说就是能找到反函数。

接下来我们开始进入到很贴近应用的部分了。

最小均方误差 Minimizing the Mean Squared Error

假设某随机变量 X 其期望是 μ 方差是 σ2 ,并且假设,X 是通过某种试验得到的结果,现在我们还没有做实验,但是我们希望预测下结果,应该怎么做。
这个课题熟悉不?买彩票,买股票,赌博,各位老铁,激动了么,说实话,想指着学了这点概率发家致富,你还是去睡觉吧,可能睡觉致富更快一点。
为了预测出一个靠谱的结果,我们要做的第一件事不是找结果,而是告诉大家啥样的猜测算靠谱。你总预测我能当美国总统也不现实。
靠谱,就是错误小,没法生的时候,就是发生错误的可能性小,换句话说,就是犯错的期望值最小。

Definition Mean Squared Error/M.S.E.. The number E[(Xd)2] is called the mean squared error(M.S.E) of prediction d .

这个地方定义了错误,也就是什么是不靠谱的概率,也就是靠谱的概率。

Theorem Let X be a random varibale with finite variance σ2 ,and let μ=E(X) .For every number d ,
E[(Xμ)2]E[(Xd)2]


Furthermore ,there will be equality in the relation if and only if d=μ

上面这个定理是说任何随机变量的均方误差都是大于等于方差的,等于号当且仅当d是均值的时候成立,我们需要证明下:
E[(Xd)2]=E(X2+2dX+d2)=E(X2)2dμ+d2

上面式子中,只有当 d=μ 的时候才能得到最小值,这个最小值也就是方差,简单的求最值,这里就不啰嗦了。

所以在一个分布已知的情况下,预测就预测均值,其均方误差一定是最小的。

最小化绝对误差均值 Minimizing the Mean Absolute Error

跟上面的最小均方误差出发点类似的,也是我们先要定义一个误差,这个误差越大表示结果越不好,那么:

Definition Mean Absolute Error/M.A.E. The number E(|Xd|) is called the mean absolute error (M.A.E) of the prediction d .

接下来我们要看到的是,在这种误差定义下,我们得到的最优猜测是中值,而不是均值。

Theorem Let X be a random variable with finite mean,and let m be a median of the distribution of X .For every number d ,
E(|Xm|)E(|Xd|)


Furthermore,there will be equality in the relation if and only if d is also a median of the distribution of X

上面定义的绝对误差期望 M.A.E.在最小化时得到的最优猜测是中值,我们必须要证明一下。
证明:
我们假设连续随机变量 X 的p.d.f.是 f 所有不同的分布都是类似的。
首先假设 d>m 其中 m 是中值

E(|Xd|)E(|Xm|)=(|xd||xm|)f(x)dx=m(dm)f(x)dx+dm(d+m2x)fxdx+d(md)f(x)dxm(dm)f(x)dx+dm(d+m)fxdx+d(md)f(x)dx=(dm)[Pr(Xm)Pr(X>m)]

因为 d>mm 是中值,那么:
Pr(Xm)1/2Pr(X>m)


所以上的结果必然是个非负数,最小值只能是当 d=m 时候才相等,因此 E(|Xd|)E(|Xm|).

同理可以证明 d<m 时候的情况。

关于M.S.E. 和M.S.A. 是否有限的重要结论

观察 M.S.E和M.A.E我们发现,每个分布都有中值,但是这两个误差是否有限其实和中值无关,从定义上看,只有随机变量的方差存在的时候,M.S.E才有限,只有当分布的期望存在时, M.A.E 才有限。

总结

对标均值和中值,得到一些重要的结论,尤其是后面有关于预测的部分,这个是机器学习里面比较常用到的基础知识,大家要好好掌握!
待续。。。

Code 504: The app is archived, please restore in console before use. [400 GET https://leancloud.cn/1.1/classes/Comment]
Powered By Valine
v1.5.2
0%