智慧即财富
陈立功的文学城博客：驰纵骋横，谈今博古，飞花扬月，行文交友
同济医科校友学术论坛：答对“统计学的新地平线”
立功
各位校友，
我几天前在自己工作的大学（USUHS）作了一次关于我个人在统计学领域所作出的最新研究的学术演讲。这次演讲有可能是统计学这门通用科学方法论的一个崭新的里程碑。此刻我正在Miami参加今年的统计学年会：2011 Joint Statistical Meetings (JSM)，也就是希望借这个机会向整个学术界推荐自己的研究成果，今天下午已经在一般方法论小组作了presentation。
毫无疑问，我的独立研究的结果基本是正确的。我在过去的四年中对Kolmogonov所创立的基本概念系统作了适当的内涵调整并引入了几个新概念，对最优化和强制连续假设作了理论上的彻底否定，并对Bootstrap法提出了尖锐而深刻的批判，而去年底完成的对连续型随机变量的自权重的成功定义将改变现有方法论体系中的很多东西。因此，我称这个定义的提出是统计学历史上的一个新的地平线。
当然，我要指出的是，目前的学术界依然没有接受我的主要观点，特别是我对最优化和强制连续假设作出的理论上的否定以及对Bootstrap法提出的深刻的批判。很多大统计学家都在上述三个方面有所建树，我的否定和批判是他们暂时无法接受的。但是，我相信他们终有一天会接受它们。我对自权重的定义从此次会议的反应来看尚未遇到反对或不理解的声音。正如我的导师、同济医科大学卫生统计学教授余松林老师在听了我对自己的研究结果的电话介绍后评价说：这是一个非常大的突破。他还非常赞赏我所创建的、迄今为止依然被学术界拒绝接受的三分临界回归分析法——一个在任何应用统计学领域有着很高价值的方法论，它被国际学术界拒绝的主要原因是由于我在阐述自己的方法学的理论基础的同时对最优化、强制连续性假设和bootstrap法提出否定和批判。这就是所谓的不破不立！
我很自豪地以原同济医科大学公共卫生学院毕业的一个master学位水平的生物统计学家完成了令无数PhD水平的统计学家们感到不可思议的研究经历，我由此而终于实现了九年多前从母校同济医大带到美国来的梦想——在这里完成自己的学术思想，从而做到在短暂的人生旅途中有所作为。我也想借此机会向我的导师余松林教授和王增珍教授以及原统计和流行病教研室的几位老前辈，包括周有尚教授、刘筱娴教授、董时富教授、施侣元教授、黄铭西教授、黄绪镇教授和聂绍发教授等以及老院长陈世蓉、周宜开和原辅导员张述林老师等表示我的衷心感谢，在同济学习和工作期间，我曾得到了来自他们中的每个人的关怀、指导和教诲，使我终身受益匪浅。当然，我还要深深地感谢原同济社科部的袁建国、王智平和王健等三位哲学老师以及陈敏老师，他们四个人对我的学术思想和个性的形成影响非常大。
我在USUHS的演讲的视频被我自己上载到了Youtube，以下是网络衔接：
第一部分（基本概念1）：http://www.youtube.com/watch?v=itKHUu6Bqjg
第二部分（基本概念2）：http://www.youtube.com/watch?v=u2IEHG7mGnU
第三部分（基本概念3）：http://www.youtube.com/watch?v=6R5lnlnRN8o
第四部分（性质与公理）：http://www.youtube.com/watch?v=8jlETJfifFg
第五部分（自权重的定义）：http://www.youtube.com/watch?v=Uirkl_VHL9I
旭光
立功校友，
有朋友传来了有关你建立了统计学新地平线的消息，感到十分激动。既看了你的报告视频，也读了你的中文解释，首先对你的探索精神十分敬佩。不过，我感觉到你的报告没有很好的把你的地平线画清楚。知道你想用“自权重”的方法解决非正态分布或偏态分布的连续变量的平均数比较问题。对于你提出的问题，除了非参方法外，还有别的方法可以解决的。并不是你说的只有华山一条道。你应该知道你可以对数据作转换，使之达到或接近正态然后作参数分析。比如，最简单的几何均数就与你的自权重校正过的均数很相近。你在报告中除了要与算术均数比较外，也该与几何均数进行比较，这样才更有说服力。
还有，用权重方法调节平均数，并不是一个新概念：人们给于远离均数的个体以较小的权重而给于靠近均数的个体以较大的权重，这样计算出得均数比较不受极端数据的和偏态分布的影响。以权重方法调节平均数，最权威的是Empirical Bayes方法，这种方法决定权重不仅考虑到和均数的距离，同时也考虑到数据点的误差大小，误差大的给于小权重，误差小的给于大权重。还有在meta analysis中计算summarized relative risk时也运用了相同的思路。
以权重方法调节平均数，做得最有创意的是物价部门，比如要想维稳，在计算物价指数时，就给猪肉以最低的权重，这样，肉价再高，乘以一个1%的权重后就微不足道了。所以，以权重方法调节平均数会因此而受到批评，因买米花的是钱，卖肉花的也是钱。凭啥要把肉价乘以1%？你这不是蒙人吗？有时候过分玩弄数字游戏，会使方法的含金量大打折扣。
想出一种方法不难，但要证明你的方法比别的方法好很难，你觉得是画了一条新地平线，别人可能觉得那是掉在地上的一根头发，不把你当回事，感到委屈是自然的。但是，探索总是好的，反正闲着也是闲着。顺祝夏安！
立功
旭光校友，
看起来我是幸遇一位同济的统计同行了。我因此想借此机会向各位校友做一点进一步的解释。
旭光校友对我的工作做了初步的评价。有些说得比较接近事实（特别是关于当前统计学的理论和方法方面），有些则还离事实本身有一定的距离（特别是在关于我本人所做的工作方面），这可能与他所说的我没有很好地把自己所画的新地平线解释清楚有关。
关于当前的方法论，在面对连续型随机变量的描述和分布的差异性比较的问题时需要一个正态性假设为前提条件。如果分布满足正态性，则算术平均数和标准差作为一个描述随机分布的集中趋势和离散趋势的统计量就足够的好；反之，则算术平均数便是一个有偏估计（在自权重定义被提出之后，这个观点将可以被接受。但按照目前的观点，即使对于偏态分布，算术平均数也是一个无偏估计），而标准差对分布的离散趋势的描述将不能给我们一个非对称的分布结果，所以，在不能满足正态性假设的条件下，算术平均数和标准差不是最佳统计量，由此，建立在此上的t-检验法也不能给我们一个精确的差异检验的结果，而是包含着较大的检验误差，这是由检验方法本身导致的，或者说是“由于p-值测量工具不够精确导致的”。
对正态性的认识与假设给我们带来了很多烦恼，其实，无论总体本身的分布是否正态，抽样所得的样本既可以是正态的，也可以是非正态的，且一个随机分布由正态变化到非正态是一个连续测度，这个变化过程不会给我们一个类似“男女”有别的显著判断依据，只能通过一个所谓的正态性检验的概率测量来作出推断。如果两个要比较的随机分布中的任意一个不满足正态性前提，则不建议采用t-检验法来判断它们之间的差异是否显著，因为分布的期望的估计和离散度估计都含有较大的偏差，于是改用非参数检验法。但是，这样一来，在所有同类检验中（例如在microarray data analysis中）就会产生“p-值测量时的系统误差”，因为检验的方法不一致，这种误差比由不管三七二十一地全部采用t-检验或全部采用非参数检验所导致的关于p-值测量的较大的随机误差要严重得多。所以，走以正态性假设为前提的方法论的道路面临很多的困难，而系统误差是必须被彻底排除的，也就是说，我们需要一个既测量精确，又没有系统误差的p-值测量工具。这就是自权重提出的重要背景之一。
其实，找到关于连续型随机变量的通用期望估计的办法原本不是为了上述的microarray data analysis，而是为了找到一个取代最优化算子的期望估计的准确办法并因此而取代最优化估计的判断准则，因为对应于最优化算子的最大或最小测量的统计模型的统计量集合是一个随机集合，也即这个集合不是一个期望集合，因为最优化算子是一个随机的连续测度，对应的统计量集合中的每一个元素也基本上都是随机的连续测度，这就好比身高和体重两个都是随机的连续测度一样，我们不能用一个样本中身高的最大或最小值去决定体重的期望估计，也就不能用最优化算子的极值去决定模型的期望参数集合。这样做是一个违反统计学基本原理的严重错误，是不可接受的，否则，统计学的根基便被彻底摧毁了。我们须知，只有身高的期望才会比较确定地对应着体重的期望，因此，我们也应该用最优化算子的期望去决定统计模型的参数的期望估计。这是一个极其简单的道理。我真的为此感到很遗憾，在统计学这门科学方法论中竟然存在着如此荒谬的错误。这真的是科学史上的一个悲剧。
在目前的统计学理论体系中，对权重的认识尚存在着严重的问题。我为此而付出了自己的努力以便找到一个通用的权重测量的方法。我认为我找到了。旭光校友在他的email中所举的关于食品价格计算中的权重赋值的办法不是我所要的。这种办法有很大的主观人为性。我提出的方法则完全由数据本身在分布空间上的位置来决定，即它自己决定自己的权重，因此是自权重。
至于说到为了满足正态性前提而将数据进行函数转换，也不是我所愿意追求的。这里有一个严重的问题需要做理论上的阐述。这是后话，因此这里就不多说。
关于方法论的好坏的证明，这是不能用数学式的证明模式来做的，而是要采用哲学式的陈述来说明事实。正如我在上面所做的那样。我们需要严谨地解释一个方法中的每一个要素的实质是什么，然后才能知道一个方法的优劣。
还有很多话要说，时间有限，暂时说到这里。祝大家好。
旭光
立功校友，
谢谢你的进一步解释。尤其是对你的这篇回文中措辞的理性，谨慎与委婉表示欣赏。你是一个喜欢独立思考的人，这一点很难得，尤其是你对这个问题执著地思考了20年，并且敢于振臂一呼——你不仅颠覆了统计学的传统理论，而且划出了新的地平线！所以，我很佩服你的这种天马行空的自信和勇气。
但是，凡要阐述一个新的方法，最好运用同行广泛接受的专业语言和概念来表述，这样才能便于接受。如果，像你的报告那样，需要先花80%的时间，改变别人的专业语言和概念，然后，再告诉别人你的方法只在你定义的新语言和新概念下才成立。这个任务不仅太重，而且变得没有意义。就好比你想描绘与血压有关的发现，你要用目前通用的血压计来测量和描绘你的发现，尽管你知道现在的血压计可能有这样那样的问题。你说你发明了一种药物，可以降血压，但其效果血压计测不出，要你独创的号脉仪才能号得出。你因此宣布传统的血压计过时了，你的号脉仪是新地平线。人家拒绝发表你的发现，你就说别人无知？应该说，是你没有把工作做好。
我们同济的哲学课是十分成功的，以至于我们毕业后满脑子都是马克思和黑格尔的辩证法。如你所说，辩证法在你的研究中起到很大的作用，并指引着你进行独立思考。独立思考如同闭关修炼，是十分必要的。但如果时间太长，往往容易与外界脱节，因为，你想的事外界可能早就解决了。弄不好，还会钻进牛角尖，以致走火入魔。所以，要把独立思考和访师学艺结合起来才好。觉得你应该就你的项目，申请个博士课题，在你信得过的教授的指导下系统地研究研究。或者至少先想办法发表它。但你多次自豪的表示你一个同济统计硕士的身份，成功地战胜了世界上的统计博士和教授。这种话，还是出自别人之口比较好。哈哈！哪有你这样自己夸自己的？再说，统计学的理论和方法浩瀚无际，一个计算均数的方法在整个统计学里重要性有那么大吗？就好比一个号脉仪就能颠覆整个医学理论吗？不至于吧？
我们同济的校友纯朴可爱，你让大家一股脑地都来夹道祝贺你的新地平线，还让大家记住这个难忘的日子，统计史上的新里程碑，连我这平时不激动的都被搞激动了。进来一看，觉得你的这个东西似乎有点点被夸大了，所以，就胡说八道了一番，请别介意。
衷心希望你把研究深入下去。下周回国一趟，恕不再回帖了。
立功
旭光，
多谢回复与讨论。
其实，我所提出的概念系统是一个非常preliminary的简单系统。我之所以这样尝试一下是因为当年做分段回归分析方法的重建工作时曾自学了一点概率论基础，结果为其中晦涩难懂且包含着某些定义错误的概念系统困惑不已。那套概念系统对于非数学背景搞统计的人来说是模糊不清的，即使是数学背景出来搞统计的人也通常无法将它们解释得很清楚，更无法直接将它们引入到应用统计学中来。这在整个学术界是存在着这个看法的，并非只有我一个人这样认为。
即使不用我所提出的这个简单概念系统，在现有概念系统下也可以直接接受我所提出的自权重定义和算法。这没有任何困难。这个定义的意义是多方面的。由于随机测量与分布是统计的基础，因此期望的估计和离散度的测量是一切统计方法的核心和基础。自权重的提出将改写方法论的体系，将它提高到了一个崭新的思维和算法层次，例如，在对两个随机分布的差异性作比较时，我们不再需要在一维空间上假设分布是否满足正态性，而是在二维空间上进行比较。由于期望估计的准确性，离散度的估计也可以实现非对称化，差异性比较的结果将非常的准确和可靠。
自权重基础上的期望估计将彻底取代最优化理论，从而为模型选择提供一个可靠的criterion。这是因为对应于一个optimizer的极值的模型不可能是一个可期望的模型，而是一个随机的“点”模型，就如同对应于一个样本中的最高身高的体重是一个随机的点测量结果一样。
暂且写到这里。祝旭光旅途顺利。
建平
立功，
感谢你分享你的个人成就和喜悦。的确，像我们这些出来不是很早，或者说很晚出国的人，抱着自己坚定的信心，不与他人苟同的观点，并持之以恒的，是我最为佩服的。并不因为你的文章难以发表而放弃，我强烈支持你！并希望和你有类似经历并正在为自己的梦想奋斗的你我和其他朋友们早日获得公认。
统计的确很难学，当初学习时全班平均分数好像只有70分，记得80年代末好不容易搞到一台苹果2，并搞到了一个用Basic写的统计软件，帮朋友们完成了硕士论文的统计，很有成就感，现在已经用不上了，很怀念当初为一些基本统计和大家争得面红耳赤的时候。
立功
建平，
谢谢你的支持和鼓励。我对自己的要求其实很低，也就是找个公开的渠道表达自己的观点就可以了。与那些在学术界苦苦奋斗着且希望发高impact期刊的人不同，我很欣赏会议的proceedings。这不需要任何人的review，从而你有机会充分表达自己的观点。其实，任何人也不敢以自己获得发表的文章声称自己的观点100%地永远正确，在统计学里也不例外。发表了如何？不发表又如何？其实没有差别，因为终有一天自己的东西会被后人或推翻或改造或超越。
最近一个多月来发现Youtube也是一个非常好的公共论坛，所以才决定将那个演讲发布上来。我已经很满足了。没人敢声称是他/她发现了self-weight的定义和统计算法。这比寻求期刊的发表快捷多了。想说就说，只要你能够对自己所说的负责就可以了。
我来到这个世界本不是为了求名寻利，只是为了完成父亲寄托在我身上的一点小小的希望。记得刚入大学不久就在图书馆里发现了一本书《名利于我如浮云》，我这些年来就是在这样的指导思想下走过来的。
让我们相互鼓励吧。
尔佳
Thanks for sharing exciting news and stories with us. These days, not so many great things happen around. From your research and language, I can see great effort and enjoyment from a "young" scientist. Please keep us posted in this area.
立功
多谢各位学长的鼓励和褒扬。当然，我知道在统计学领域我能够继续做的已经非常有限，但我个人的人生还有很长的路要走。尽管前途未卜，我仍然感到非常宽慰和平和，因为我做到了自己能够做到的，并真正超越了自我。
另外，我很荣幸这辈子能够有机会先后在同济的原预防医学教研室、卫生统计教研室和流行病学教研室做过教学和研究（虽然后来它们在形式上合并为一），这使我有机会在思考统计学的理论和方法等问题时总是将视角落实在寻求实际问题的解决途径之上，而非单纯地或者从数学的角度思考计算问题，或者从医学应用的角度学习统计方法的应用问题。因此，出国前能有机会与出自原流行病教研室的胡长灯学兄相识也是人生的一大幸事，但愿有机会重逢相聚。
考虑到我近期关于自己的言论可能引起某些人的猜忌或误会，我愿进一步以一些实事来澄清关于我个人的当前状况。
昨天在会场与一位统计PhD讨论了最优化、强制连续性和bootstrap法，我的批判性观点使他大为惊愕，他说他们从未怀疑过那些理论和方法，也从未如我那样思考过问题，他们对别人教授给他们的理论和方法毫不怀疑，自己也是如此教给他们的下一代学生。
在此次会议前的五月初，我曾在mitbbs的统计版发起了一场挑战，时间持续了近一个月。最初谩骂诋毁嘲讽充斥版面，但从中期开始出现了支持的声音，mitbbs网站也开始以每天两篇与我有关的文章上首页头版予以支持。我发起此次挑战的目的是为了检验我即将在此会会议上要表达的东西与当前系统的差距，结果表明，我没有完败。有关的讨论至今依然完整地保留在那个版上，人们可以到那里去查考。
我真的一点也不care我的文章是否被“正规的统计期刊”发表。It is not my fault that my paper was rejected by many statistical journals but the journals themselves. I am not mad either but very peaceful now. I am really proud of myself since I have done it to my best and broken my limits. Nobody could believe that I could challenge the large body of mathematics and statistics with my very poor philosophical thinking. That “you are challenging the large body of mathematics and statistics” was said in 2007 by the former editor-in-chief of the Annals of Statistics, the highest impact journal in Statistics.
一句话，我们的校友中很多人不了解当今统计学的现状。它已经被数学家们训练成了一门数学学科，那些数学背景出来的人们在里面玩定义、假设、性质、定理、推论和证明，他们以为客观世界都是按照他们给定的假设和发现的定理演绎出来的。真是笑话百出。
我做完了自己的事情，也该好好休息一段时间了。祝大家万事如意，心想事成。
