悟空

欢迎大家来坐坐,聊聊
个人资料
悟空孙 (热门博主)
  • 博客访问:
归档
正文

正态分布的启示

(2012-04-05 13:34:57) 下一个

 

 

正态分布是统计学中最基本的一个概念,而整个统计学的基础也就是建立在自然界的常态是一个稳定的形态之上的。这个稳定形态用一条曲线表达就是一个钟型结构:两边细小,越往中间越宽大沉稳。

钟型结构也是我们生活中最常见的一种自然状态和分布。比如人的智商,一个社会的整体必定是智商100左右的人占大多数,以标准差为16计算,那么就有68%的人智商在84-116之间,这是一个“正常”范围。如果一个人的智商在3个标准差之外,达到了150, 或低于50,那不是天才就是疯子了,的确,智商在160180的天才,在“常人”看来,和疯子是没有多大区别的。

我想要说的是,一个社会如果都是“天才”,或者都是“疯子”,都不是一个稳定和谐的社会,而一定是一个充满战乱,愚昧野蛮的世界。

同样,在财富的拥有上,如果一个社会尽是亿万富翁,大家挥金如土,那这个社会离灭亡也不远了,而一个穷的连饭都吃不饱的社会,也随时充满危机。

总之,“钟型”的稳稳当当的状态最好,和平,稳定。中国有一句老话,叫“坐如钟”——说的就是钟一样的坐姿是最稳当的。

我对于正态分布的感悟来自于我的工作,我常常面对一大堆统计数字和图表,却没有真正看出其中的名堂来。今天,似乎是突然坐在菩提树下觉悟了:这钟型曲线不正代表了“中庸”吗?

这个发现让我惊喜,因为,我一直认为中庸是一个魔鬼,是中国社会几千年来的痼疾。

其实,中庸是个好东西,孔夫子是对的:“致中和,天地位焉,万物育焉”。当一个社会达到了中庸的境界,这个社会就和谐稳定,万物兴旺了。

可是,问题在于,如何让一个社会达到中庸呢?

孔夫子开出的方子似乎有些毛病:“喜怒哀乐未发谓之中,发而皆中节谓之和”,“君子,中庸;小人,反中庸”,“执其两端,用其中于民”……。

孔夫子觉得,达到中庸的关键在于每一个个人都要不偏不倚,连喜怒哀乐都要加到好处,凡做到中庸的,就是君子,反之,就是小人。而“执两端用其中”则被大多数人理解为“去其两端,取其中而用之”。

难怪,孔子自己都感叹:“中庸之为德也,其至矣乎!民鲜能久矣!”

个人的性情习惯乃至思想和价值观都和人的智商一样千变万化,怎么能够让人的思想整齐划一呢?达不到中庸怎么就成了“小人”?于是,达不到中庸的人就假装,就作假,中国人变得圆滑了,世故了,麻木了。

事实上,自然界的现象也不可能是一个完美的钟型,任何的统计数据都存在一定程度的偏态,而“正态”之所以能“正”,正是由于这种形态包容了左右两个极端,两个极端的相互制约,才保证了整体的平稳。

试想,如果我们把一个稳定的“正态”型体的首尾都去掉,只留下中间的一段,这个型体还能保持如“坐钟”一样的稳定形态吗?

一个社会更是如此,如果“左”和“右”两条“路线”老是不停地斗来斗去, 凡是敌人反对的我们就拥护,凡是敌人拥护的我们就反对,不是你死就是我活,“大一统”,“二分法”思维如何能使一个社会稳定和谐?

完美中总存在着不完美,“正”和“反”总是一个事物的两个方面,互为表里,没有“正”,也就无所谓“反”。

“中庸”,应该是一个整体的中庸,而整体的中庸是建立在个体的保持自身特性和偏激的基础上的,“中庸”和“偏激”其实也是相互制约的,没有个体的自由,没有对偏激的包容,就没有整体的中庸。

中庸是无法有意识刻意获取的,将中庸作为一种道德标准也是错误的,中庸应该是一种境界,一种在平和的心态下,以包容的理念达到的自然状态。

中国社会讲了几千年的中庸,结果鲁迅一针见血:“行中庸的人民,其实是颇不免于过激的”——越是去其两端,剩下的只能是一个没有依靠的立柱,一阵风来,就轰然偏倒一方了。

可是另一些不讲中庸的国度其实是比我们中庸的,在纽约和巴黎的大街上,你可以看到世界上最丑陋和最肮脏的东西,你同时也能感受到世界上最美丽最高尚的风光。

中国的政治总是非黑即白,大是大非;西方的政治无所谓谁对谁错,只要利益平衡,相互能制约牵制就好。说穿了,西方现代民主制度就是防止两极极端倾向,达到中庸,确保社会稳定,确保国家平衡发展。

不过,自然界的形态,人为干预越少的,越呈现出正态的分布,越稳定,越中庸。从这个意义上说,“法”治,好与“人”治。

实现社会的“中庸”,我们就要不断的求真求实,在对于真理不断的追求中,让自己自然地达到“中庸”的境界,而在求真的过程中,偏激一些,极端一些也不失为一种方法,只有当自身对事实和真理的两方面都有了客观公正的了解,才能真正达到“知”的境界。

孔子说:“吾有知乎哉?无知也。有鄙夫问于我,空空如也。我叩其两端而竭焉。” 《礼记·中庸》

 

 

******

特此感谢为人父网友对本人偏激和固执的包容,为兄的耐心和循循善诱使我对中庸有了新的认识和了解。不过,我仍然坚持中庸不应该针对个人,而是整个社会应该达到的一个状态,个人也是应该通过对各种“极端”有了充分的认识和了解之后才能形成的一种境界。更重要的是,没有对“偏激”的包容,没有个体的自由发展,就没有中庸。“正态分布”如果去掉了首尾,也就不能称其为“正态”分布了。

[ 打印 ]
阅读 ()评论 (19)
评论
凑凑热闹 回复 悄悄话 正态分布的物理意义:这种分布下,熵最大。(熵代表了无序性)换句话说,选择了正态分布就选择了最随机的一种分布。
==============================================================
这其实也是数学上的熵的概念, 在信息论上,也用这个概念。 在实数域内, 连续函数中熵最大的就是正态分布 (在相同的均值和方差的情况下). 根据中心极限定理, 若干变量的线性组合是趋近于正态分布的。实际问题中,人们经常要找不是正态分布的情况。 在projection pursuit 和 independent component analysis, 人们就是把熵作为objective function. 有很多应用了. 不算是新鲜玩意了.
懒黑熊 回复 悄悄话 回复年年有余的评论:

谢谢啦. 光是题目就很有趣. 我一定看.
年年有余 回复 悄悄话 回复懒黑熊的评论:不客气,谢谢你的抬爱。写物理数学的博客,我的功力远远不够。倒是有本书可以推荐给你,

The road to reality: a complete guide to the laws of the universe
Roger Penrose。:--)

年年有余 回复 悄悄话 回复懒黑熊的评论:不客气,谢谢你的抬爱。写物理数学的博客,我的功力远远不够。倒是有本书可以推荐给你,

Roger Penrose。:--)

懒黑熊 回复 悄悄话 回复年年有余的评论:

非常感谢. 科学的历史真的很有意思. 你也应该开个博客呢.
年年有余 回复 悄悄话 回复懒黑熊的评论:中心极限定理,是概率论中讨论随机变量和的分布以正态分布为极限的一组定理。这组定理是数理统计学和误差分析的理论基础,指出了大量随机变量之和近似服从正态分布的条件。1901年,俄国数学家里雅普诺夫用更普通的随机变量定义中心极限定理并在数学上进行了精确的证明。无数相互独立的随机变量之和服从正态分布。
使用e为底的对数在求导和积分的计算上非常优美,并且自然对数直接与泰勒级数产生了联系,自然对数相对于其他底的对数而言,在数学上更方便处理。
爱因斯坦发表相对论之后,他的数学老师闵可夫斯基认为爱因斯坦的数学表达非常粗糙,于是采用了张量tensor重新表达了相对论的内容,公式非常优美,数学逻辑更清晰了。自此,张量运用到了力学领域,表达出的力学方程非常优美,并且逻辑清晰,目前仍然是学习力学的神兵利器。
所以很多时候,选择什么样的数学模型,如果能深入了解数学模型的根本,选择数学模型就容易很多。比如最小二乘法拟合曲线的时候,我身边的同事很多时候会很迷茫,不知道该如何确定拟合的阶次。如果从数学的本质出发,最小二乘法能保证拟合的残差最小。如果用拟合的残差作为依据,多项式的阶次就很容易确定了。 (最小二乘法也是高斯发明的。)

懒黑熊 回复 悄悄话 回复年年有余的评论:

Thank you so much. This is very interesting. I have to English as my work computer does not have Chinese input.

“连乘有很多坏的品质,比如不能判定连乘的积是否收敛,而求和的结果,只要满足一定的条件是可以判定其是否收敛的。数学界只要遇到连积,都会先想办法处理为求和。”

This is a great point. I major in finance and insurance. We often use a lognormal model for stock prices so that we can have a sum of random variables that follow normal distribution.

“至于说为什么以自然对数为底,我也说不好,查阅一下资料再回答您。”

I always feel the number e (2.71828…) may hold the key to the nature. Why do we need it for the normal distribution function, as well as so many other models that perfectly describe the nature? This number was found by people, not made by people. Can you trace the number to the ultimate source, like how the world is organized, to the atomic level, or to the outer space where the universe goes on and on? Is there a better number than e? Just some silly questions… don’t take it too seriously…

“至于物理和数学的区别,举个小例子说明。数学上常微分方程(ODE)二阶线性(非线性)方程,对应到物理上就是单质点的振动方程(弹簧质点系统)或者是电路方程(电阻-电抗-电容),常微分方程为了求解的方便,会引入复变函数。一旦引入复变函数,常微分方程(ODE)会简化为代数方程,从而出现两个特征根(共轭的)。有意思的是,解单质点的振动方程或者是电路方程问题,这两个特征根只有一个特征根是有效的,另一个是冗余的解。

基于以上的表述,数学提供了解的空间,物理是从解的空间中拿到自己要表达的部分,至于解的空间是不是唯一或者是完备,那是数学的事情,物理是在数学提供的解的空间中找到适合自己的表述。抛开物理,其他的学科都是这样,在数学提供的解的空间中找到适合自己的表达。
那么有反例吗?有物理确立的模型,而数学没有涵盖吗?抱歉,我的知识面没有那么宽,在我的知识面里面没有看到这样的事情。那么有数学物理几乎同时发现的模型吗?答案是有的。”

I don’t really have a very strong math / physics background. I can’t really follow all the technical details. But I see the idea that math models are used for physics, and physics needs to find mathematical presentations. This is very much like financial models. We also need to find mathematical presentations.

“回到之前的问题,高斯发现正态分布函数的时候可能没有任何物理的意识,他只是从很多数学表达中找出了最遵循数学规律又最容易处理的表达。但神奇的是,高斯的数学表达反应到物理上,就反映为统计学中非常合理的模型。中心极限定理的证明表明了高斯的伟大。”

This is interesting…I remember Gauss refused to tell how he found the function… He did a lot of tests and I agree it may be more like a perfect empirical model. It would be a different story if he just sit in his study and figured out the function without the tests…
Blue.Crab 回复 悄悄话 Normal distribution? What are the skewness and kurtosis values?
年年有余 回复 悄悄话 回复懒黑熊的评论:(个人理解,仅供参考)
连乘有很多坏的品质,比如不能判定连乘的积是否收敛,而求和的结果,只要满足一定的条件是可以判定其是否收敛的。数学界只要遇到连积,都会先想办法处理为求和。至于说为什么以自然对数为底,我也说不好,查阅一下资料再回答您。
至于物理和数学的区别,举个小例子说明。数学上常微分方程(ODE)二阶线性(非线性)方程,对应到物理上就是单质点的振动方程(弹簧质点系统)或者是电路方程(电阻-电抗-电容),常微分方程为了求解的方便,会引入复变函数。一旦引入复变函数,常微分方程(ODE)会简化为代数方程,从而出现两个特征根(共轭的)。有意思的是,解单质点的振动方程或者是电路方程问题,这两个特征根只有一个特征根是有效的,另一个是冗余的解。
回到之前的问题,高斯发现正态分布函数的时候可能没有任何物理的意识,他只是从很多数学表达中找出了最遵循数学规律又最容易处理的表达。但神奇的是,高斯的数学表达反应到物理上,就反映为统计学中非常合理的模型。中心极限定理的证明表明了高斯的伟大。
基于以上的表述,数学提供了解的空间,物理是从解的空间中拿到自己要表达的部分,至于解的空间是不是唯一或者是完备,那是数学的事情,物理是在数学提供的解的空间中找到适合自己的表述。抛开物理,其他的学科都是这样,在数学提供的解的空间中找到适合自己的表达。
那么有反例吗?有物理确立的模型,而数学没有涵盖吗?抱歉,我的知识面没有那么宽,在我的知识面里面没有看到这样的事情。那么有数学物理几乎同时发现的模型吗?答案是有的。

懒黑熊 回复 悄悄话 谢谢年年有余! 这么热心回答问题. 以后多多请教.

我一定去找一本来看看. 我一直好奇数学和物理的关系. 好象数学与自然有某种必然的联系. 比如说为什么自然对数的底, 在哪儿都能看见?
年年有余 回复 悄悄话 抱歉,补充一句。
卢昌海的漫谈黎曼猜想比较长,没有时间的话可以忽略前半部分,直接看后半部分,后半部分中关于厄密函数,随机矩阵的部分把数学和物理的联系叙述的非常棒。
年年有余 回复 悄悄话 回复懒黑熊的评论:回复懒黑熊的评论:统计学中很多时候会追求熵最大原则。熵表达的是系统的无序性,随机性。推荐卢昌海先生的漫谈黎曼猜想。卢先生的数学和物理功底都非常深厚。抱歉,翻墙出来,总是会丢失文字。
年年有余 回复 悄悄话 回复懒黑熊的评论:回复懒黑熊的评论:统计学中很多时候会追求熵最大原则。熵表达的是系统的无序性,随机性。推荐卢昌海先生的。卢先生的数学和物理功底都非常深厚。
年年有余 回复 悄悄话 回复懒黑熊的评论:统计学中很多时候会追求熵最大原则。熵表达的是系统的无序性,随机性。推荐卢昌海先生的。卢先生的数学和物理功底都非常深厚。
懒黑熊 回复 悄悄话 真是妙文. 看来中庸之道也是自然之道, 正态分布嘛. 最后一段也很有趣...尾巴是自然的,必要的....
懒黑熊 回复 悄悄话 回复年年有余的评论:

非常有趣. 我总奇怪怎么会有一个统一的公式. 而高斯又能找到它.

从统计上讲熵怎能更详细点吗,从统计上讲怎么衡量?
打工的 回复 悄悄话 改开前财富在中国人中是钟形分布的, 所以无论政治上斗争多么激烈, 社会仍然稳定。 现在平均来说中国人比以前富多了, 但财富偏离了钟形分布, 社会到处是乱源。
年年有余 回复 悄悄话 正态分布的物理意义:这种分布下,熵最大。(熵代表了无序性)换句话说,选择了正态分布就选择了最随机的一种分布。
zhu_charlie 回复 悄悄话 Execellent -- Ding
登录后才可评论.