智慧即财富
陈立功的文学城博客：驰纵骋横，谈今博古，飞花扬月，行文交友
数学家们在统计学领域犯下了几个严重的错误
陈立功，一个医学背景的生物统计硕士
稳健回归的开创者、美国著名的统计学家、前美国总统科技顾问Peter John Huber于1997年11月在北京中国科学院数理统计研究所演讲时说道：“很多数学背景的统计学家习惯于用数学的确定性思维模式来思考和解决统计学领域的非确定性问题，由此犯下了一些严重的错误，导致了很多思想和方法上的混乱。”他并期待着一股来自数学以外的力量能够推动统计学和数学的变革。
听到这个演讲内容和观点后，我的第一感觉是，如果这个力量存在的话，那么，它只能是哲学，因为哲学是人类一切知识的认识论和方法论根源，因而也是一切知识的终极裁决者。
其实，哲学并非什么艰深玄妙的东西，它是一种智慧，引导人们分辨万事万物的性质是怎样的，有何区别和相似之处，进而认识它们是什么，相互间有何关系。因此，一个学统计的，如果不懂哲学或缺乏基本的哲学素养，便如一个在黑暗中摸索的瞎子。对于在黑暗中感到困顿的人，哲学将会开启他的智慧，并赋予他一盏明亮的灯，照亮他前进的道路。
最近试图与几位著名的数学背景的统计学家交流自己的思想，但无一愿意给出有价值的东西，他们基本采取了沉默不语或不屑理睬的态度。为此，我把这个试图与他们交流的东西发表在自己的博客里，作为十四年多来自己对整个系统的持续挑战的组成部分之一。这个挑战将一直存在于这里，以便人们可以观瞻这一科学史上的悲剧。
Dear Dr. XXX，
您能够解答我的以下两个困惑吗？
我在长达近14年多的时间里做的是关于临界回归分析或分段回归分析（segmented regression or piecewise regression）的逻辑与算法的重建。我之所以坚持不懈地这样做，是因为我相信没有一套数学公理系统可以演绎出这个方法论，而当前的方法论存在严重的理论错误。这个领域里最困扰我的问题有以下两个：
第一，在基于样本测量的基础上在样本可测空间上搜索未知临界点时，目前的经典方法论是以随机分段模型组中最小合并预测残差（min(combined residuals)）作出一组“最优”的模型决策，也就是所谓的最优化决策。我想请问，这个决策的数学根据是什么？谁已经或能够从概率论上证明那个最小合并预测残差与所谓的“最优临界模型组”的随机参数集合之间的对应是一个“可期望的”或“可靠的”对应，或者说，上述两个随机测度的收敛在各自的可测空间上具有概率上最大且充分的一致性。
我从直觉上看这个对应是不可期望的，因为无论是最小合并预测残差，还是对应于它的随机临界模型组的各个统计量都是随机的“点”测量，它们之间的对应关系就好比我们在一定的样本量条件下得到的一组同质人群的身高与体重之间的随机的点对应一样。如果我们的研究目的是试图用“身高”这个随机变量来对“体重”这个随机变量的某个属性做出统计决策，我们显然是不可能使用min(身高)或max(身高)来做出一个关于“体重”的那个属性的稳定而可靠的决策的。这样的“最优化”在统计学上是绝对不可接受的，因为，If we could use min(X) or max(X) to make a statistical decision for Y, where both X (maybe an optimizer) and Y (maybe a set of parameters of a set of threshold models) are randomly variable, then all the fundamentals of Statistics would be collapsed. 其实，早在1962年，John Tukey就在其著名的长篇文章《The Future of Data Analysis》里警告过人们“最优化”在统计学中的危险性。
第二，关于spline技术在临界回归分析中的应用。这里有一个前提假设，即所谓的enforced continuity，这个假设是以数学函数理论求解临界点的关键条件。没有这个假设的给定，就无法使用解联立方程组的方法求解未知临界点。但是，从统计学的角度，如果一个总体中存在一个临界点，那么，在随机抽样的条件下，在样本临界点（如果它可以被以另外的方法估计出来的话）附近的两个临界模型间将必然存在一个抽样的连接变异（这是一个确定性的存在），至于这个连接变异有多大多小，nobody knows（也即这是一个非确定性的存在），从而，我们不可以强制性地预设那个“连续性”来建立一套方法论。反之，如果坚持采用那个强制连续性的假设，就等于是用一个确定性的假设来否决了一个确定性的存在，并以假定的方式肯定了一个“非确定性的存在”的不存在（非确定性的连接变异 = 0，即肯定了“非确定性的连接变异”的不存在）！这是一个令人惊叹的低级错误。
If the continuity between two adjacent threshold models is not inferred in a probability, it is not a statistical method but a mathematical game with an arbitrary assumption in a certainty for an uncertainty.
所以，我认为以上两个问题可能是统计学方法论发展史上的两个悲剧性错误。我在2007年和2009年的JSM会议上曾两次谈到了这两个错误，也曾试图投稿发表自己的见解，却被所有杂志社拒绝了，但却从来没有人对这类拒绝的理由给出任何专业方面的解释。这些期刊包括（按投稿时间顺序）：
Biometrics (2次修稿。唯一评论：目前的方法比这个好)
Statistics in Medicine (1次投稿。唯一评语：没有创新)
JASA (3次修稿。第一个评语：本文的思想确实有趣(definitely interesting)，但数学表达不规范，会使审稿者感到burden。最终评语：该文不适合发表)
Biometrika (1次投稿。唯一评语：本刊空间有限)
Annals of Statistics (7次修稿。第一个有意义的评语：本文试图挑战the large body of Statistics and Mathematics,但以本文目前的英语写作水平，不足以令读者信服。最终评语：建议投稍微低一点的刊物)
Computational Statistics and Data Analysis (2次修稿。唯一评语：作者有点妄言)
The American Statistician (1次投稿，唯一评语：无法判断本文的观点和方法是否正确)
上述两个问题我曾请教过哈佛统计系的主任孟晓犁(Xiao-Li Meng)以及当前的Annals of Statistics的副主编蔡天文(Tong Cai)，然而，这两位杰出的数学背景的统计学家无一愿意回应。所以，那两个困惑对于我依然待解，我相信没有哪个数学背景的数理统计学家可以给出关于它们的肯定的论证，因为它们本是统计学领域的两个谬论，是由于概念缺失导致的分析逻辑和数学算法上的错误。
人们可以继续无视我所做出的东西，因为作为国内医学院毕业的master-level的我在统计学领域的credit可以被忽略不计，但问题将依然存在。正如Dr. Huber在讨论导致他所说的那些错误的原因时所指出的那样，“一些数学家习惯于以他们的确定性思维模式来解决非确定性领域的问题”，这是统计学领域中一切错误和问题的根源所在。
很遗憾，你连我的第一个问题及其所涉及的领域都没搞懂。你的观点与本人的话题没有多少关系。
统计学里许多东西未必可以证明，即便可以证明，实践中样本有限也未必没有误差。就像结构力学的计算，要保险的话加裕量是唯一办法。
回复YY101的评论:
>在你的眼光里面，均值为零的是随机误差，均值不为零的是系统误差，……<
这是你对我的话语的误解。我从来没有这样说过随机误差和系统误差的含义是这样的。误差在测量行为中，不在数学定理中。
我们之间对统计学的理解确实存在很大的差异。我无法相信一个数学背景的统计PhD会如此理解和操作统计学。
>你说利用两组采样样本来分离系统误差与随机误差,而两组数据中都包含两种误差,这种分离是不可能的.<
你再次令我瞠目结舌。我不知道你学的是何方统计学，也不知道你的学历背景究竟是否与统计学有关，更不知道你是否在统计学这个领域从事过多长时间的工作。你连t-test最基本的思想都没弄清楚。
我所说的是，在两个样本的“均数之差”这个测度中，存在着系统误差和随机误差，因为这两个样本毕竟来自可以区别定义的两个总体，或两个“系统”，但我们不知道这两个“系统”的随机抽样分布是否具有一致性，因为无论我们怎样抽样，也无论抽多少次样，每次一抽样结果中的两个样本的均数间一定存在一个差异，这个差异本身也是一个随机测度。如果两个总体的分布一致，则多次抽样的两个样本均数之差的分布应该服从均数为μ=0，标准差为θ的正态分布；反之，如果这个差偏离μ=0，则表明两个“系统”间存在有显著意义的差异。此时，我们将可以看到两个均数之差除了随机误差（它在这个差的一次性随机测量中发生的概率很小）之外，其系统误差便有了显著性的意义。
在两个样本的某一同名连续型随机变量的分布比较中，在各自样本内部应该没有系统误差，而该随机变量的测量方法和工具对于两个总体也必须是一致的。因此，在比较中的两个样本均数之差中的“系统误差”便只来源于那些用来有区别地定义两个总体的不变属性，例如，一组“高血压病”患者的血压，和“健康”人的血压。这里，“高血压病”和“健康”分别是用来定义两类人群的不变属性，亦即两个类别群体中的每个个体都分别拥有各自的同一属性，即对各自总体来说不变的属性。
>也许你应当把你那两个样本是如何得到的描述一下,我们来看一看其平均数只差是什么.<
我在前面以t-test为例和你展开了一点讨论。这个例子是一个抽象的t-test例子，具有一般两样本t-test的全部特征。建议你去重读一本统计学教材中关于t-test的内容，并重温一下最基本的统计学概念。
>也许我需要你用完整准确的数学语言将你的假设写出来,……<
>你的H0与H1是互补的吗?<
关于一个假设检验中的两个假设的哲学式的或数学化的陈述可以参考任何一本统计学教材。一般而言，两个陈述是互为对立的，因而也是互补的，因为要检验的那个差别（例如两个样本的平均数之差）由且仅由两个部分构成。
>如果随机误差在全部差中发生也在两个总体间的系统性差别在样本所体现的信息中发生,算哪边的呢?<
这个问题不成立，因为随机误差与系统误差属于两类不同性质的误差，因而不可能发生在对方的范畴内。
由于总体中的个体变异和抽样的随机性，在一个假设检验中，我们不能通过一次抽样直接计算出两类误差分别有多大，于是采用一个概率来衡量各自发生的可能性大小。
>难道你是说两个样本均值中间一个有系统误差,一个没有系统误差?……<
No,两个样本的均值之差在结构上由两类误差组成。所以，检验的假设是两个，即H0和H1。检验概率p判断的就是随机误差在全部差中发生的可能性，而其对立面1-p就是用来判断两个总体间的系统性差别在样本所体现的信息中发生的可能性。
>你用T-TEST就隐涵了你把系统误差作为随机误差的一部份.<
这句话让我感到震惊了。假设检验的两个选项就是根据系统误差和随机误差来分别设定的。
>这样定义个体变异对统计学来说是没有意义的.一捆一尺长的尺子,长度有微小差别,均值应当接近于一尺.每抽出一支,你都可以称其为一尺,而不是说一尺加一个变异.如果这样,卖布的就开不了张了.<
这样看来，你似乎没弄懂总体中的个体变异与样本中的随机误差之间的关系。
t-test的逻辑就是在全部误差中以概率判断随机误差发生的可能性。我们确实不知道两类误差各自的实际大小，否则就不需要这个检验概率了 。
>我有些怀疑甚至你对随机误差的理解也是不对的.我们说的是对每一个个体进行测量.随机误差的产生主要是由于被测总体中的个体变异造成。测一次,有随机误差;难道你说的是前后测几次,其间个体变异?即便这样,每次都有随机误差.我不能说随机误差一定比系统误差小,都有可能.<
关于连续型随机变量的随机误差，可以把它们看成是总体中的个体对总体分布期望的随机变异。
测量中的工具使用中造成的误差也是样本中全部随机误差的一个组成部分，还有精度的选择带来的误差，则是另一类随机误差；你还可以根据具体情形定义其它类别的随机误差。但一个样本中的随机误差的主要来源是由于个体对总体分布期望的随机变异造成的。没有个体变异，便没有统计学。
我在前面回答你时说过，“系统误差可以量化，也可能无法量化；随机误差也是如此。”
>如果随机误差可以量化,测量本身就失去意义了.<
让我们看一个两样本t-test的例子。在这个例子中，t值的构造是，分子是两个样本的均数之差。这个差就包含着两类误差：系统误差和随机误差。检验的目的是要用概率来衡量随机误差发生的概率大小。我们可以把整个差异看成是1（即全部），那么，随机误差发生的概率大小可以部分地反映出两类误差在全部误差的结构上的相对差异，从而得到两者的部分程度的量化。
由测量精度引起的误差是很小的，而且由于对精度的偏离呈现出正态分布的对称性特征而在计算中可以被相互抵消；随机误差的产生主要是由于被测总体中的个体变异造成的，而非测量精度的定义引起的。
系统误差可以量化，也可能无法量化；随机误差也是如此。
对不起，我忘了给定一个条件：如果两种工具间没有一个已知的转换手段。单纯从测量结果的数字表现来看，它们之间的差异存在系统误差，如果直接对这样的数据进行统计分析，会造成错误。所以，如果已知某种转换手段，便可以消除这个系统误差了。
回复YY101的评论:
>比方说你拟合一条Y相对于X的回归曲线,如果是限定于线性模型,肯定有一跳最佳曲线,使残差平方和最小.……<
我在本文里讨论的最优化不是这个情形下的最优化，而是指的类似于在分段回归中使用合并残差最小化来决定分段模型的“最有化”，因为那些方法论构建者认为，最小的合并残差对应的分段模型就是他要的或期望的。这是不可能的。从你的那段话来看，你没搞清楚我所说的存在错误的最优化是怎么回事。
当使用全部样本建立单一模型时，如果需要在不同的模型类型间作出选择，可能会面临何者“最优”的问题，但不论哪一个类型的模型被选定，被选定的模型的参数集合都只有唯一的解。这里没有最优化问题。各种不同类型的模型的参数间的差异不是随机误差，而是系统误差。（此话不严谨，应该是：各种不同类型的模型的参数间的差异不仅有随机误差，还包含着一部分系统误差。）
我不知道你是否有过测量中的系统误差和随机误差的理论训练和测量实践。如果你不曾有过这类训练和实践，我会感到很遗憾。
>采用不具备一致性的方法得到的数据就不是随机数据了吗?一致性需要证明吗?能够用更加初级的概念及定理证明吗?<
你前面说过你受过测量中的系统误差和随机误差的训练。我很怀疑。
一致性需要证明吗？这是对一个测量中所使用的测量工具的性质进行判断的问题。怎么会需要证明？举例来说，测量一组人群的身高时，一部分人使用的是厘米制工具，另一部分人使用的是英尺制工具；或者测量血压时，一部分人使用的水银血压计，另一部分人使用的是气压计。这类测量中便会包含系统误差。我判断出来了，难道你还要我证明给你看吗？
当然，不论使用的工具是否一致，测量结果中都会包含着随机误差。这难道也需要证明？
其实，统计学是一门认知方法论，直观地说，它近乎于一门测量技术的汇总。它有两个基本形态或层面：1）方法论的构建；2）方法论的应用、检验和改建或重建。
统计学有自身的公理系统，这个公理系统并不总是与数学的公理系统一致，例如测量的一致性，系统误差的发现与排除，随机误差的最小化等，这些与数学的公理系统风马牛不相及。
我很赞成您所言，将来会有真相大白的时候！
我觉得统计的模型没有最好，只有更好。统计学还是在发展阶段，有太多理论需要补充。尤其是计算机的发展促进了统计的深入，但是和每天出现大量的数据相比还是远远不够的。
统计往往先假设一个现有的模型然后对照数据检验，这样是做不到百分之一百的准确性的，一个模型能做到百分之七十吻合就是很不错的了，但是这样依然是很难的。
基于这个原因，我是不大相信任何股票价格的，说白了，统计到现在想做到像数学那么精准是不可能的。它对一切的解释只能是个大概而已，这就不是科学，我想。
金融危机前，往往先假设数据是正态分布，然后再去做研究，现在发生了金融危机知道了很多数据不是正态分布的，那以前的模型还可信么，带来的损失该是多么巨大。
拙见，欢迎拍砖。
>从我的观点看,统计是数学的真子集.<
只要从统计学的全部概念中找出一个不属于数学范畴，那么，统计学就不完全是数学的分支。
搞数学的人是最讲究严谨的，你应该可以找出至少一个不是纯数学可以讨论的统计学概念，例如，总体和样本及其相互关系，还有统计认知的哲学基础，等等。更重要的是，任何一个统计分析的方法都不是从数学公理系统演绎出来的，而是一种简单的分析逻辑。这种分析逻辑通常属于哲学性的分析和思考，然后在此基础上才能引入数学计算技能来构建统计算法和公式。
关于统计学的学科性质，我想请你回答一个简单的数学集合论的问题：
{统计学的全部概念}是否属于{数学的全部概念}的一个真子集？如果是，你可以说统计学是一个纯粹的数学分之学科；反之，就不是。你是搞数学出生的，应该可以回答这个问题。
其实，Mathematical Statistics应该被称为The Mathematics in Statistics. 前者说的是“统计学是数学的”，而后者是在说“统计学里的数学”。
>但不论哪一个类型的模型被选定，被选定的模型的参数集合都只有唯一的解。不一定,如果你有100个数据点,拟合一个101阶多项式,参数估计就不可能唯一.<
很遗憾，你把一个给定的样本数据看成是一推抽象的数字，可以任意玩弄了。你完全忽视了针对该样本的统计认知的理性基础，以为只要数学计算上可行，就可以任意而为。
>分段回归中段点必须要在拟合曲线以前确定,这属于确定集合时讨论的问题.当然你也可以将其作为一个变量一同估计.<
显然，在对未知总体进行随机抽样的条件下，临界点一定是且只能是一个随机变量，因而需要找到它的可测空间并进行测量，从而以期望和可信区间估计来决定它的位置，而不是以“最优化”搜索和解联立方程组的方法来求解。后一种方法连随机临界点的可测空间在哪里都没有搞清楚。我不知道那些人的概率论是怎么学的。
显然，如果样本空间（X,Y）里只有一个临界点被假设在X上，则临界点的可测空间与X是完全一致的。但X的期望和可信区间并非就是其上的那个临界点的期望和可信区间，因为这里存在着每一样本点作为临界点时的重要性的差异的随机变异，我们需要测量这个重要性，然后以此为权重来估计X的加权期望和加权基础上的可信区间。这个加权期望和加权基础上的可信区间才是对临界点的正确估计。除此以外没有它途。
>在合并残差最小化准则下得到的最优曲线对每一段来说不一定是最优的,但这取决于你的模型结构,例如相邻段结点是否要求平滑.<
在临界点通过上述加权估计得到后，事情便简单了，可以建立连续性检验来取代平滑化，因为是否平滑地连接两个分段模型已经不是一个数学美化的问题，而是一个概率检验的问题。这才是真正的统计学思维。一个看起来断开的两段模型并非就不是连续的，这取决于连接变异在其最大可测空间上发生的程度。
>比方说你拟合一条Y相对于X的回归曲线,如果是限定于线性模型,肯定有一跳最佳曲线,使残差平方和最小.……<
我在本文里讨论的最优化不是这个情形下的最优化，而是指的类似于在分段回归中使用合并残差最小化来决定分段模型的“最有化”，因为那些方法论构建者认为，最小的合并残差对应的分段模型就是他要的或期望的。这是不可能的。从你的那段话来看，你没搞清楚我所说的存在错误的最优化是怎么回事。
当使用全部样本建立单一模型时，如果需要在不同的模型类型间作出选择，可能会面临何者“最优”的问题，但不论哪一个类型的模型被选定，被选定的模型的参数集合都只有唯一的解。这里没有最优化问题。各种不同类型的模型的参数间的差异不是随机误差，而是系统误差。
我不知道你是否有过测量中的系统误差和随机误差的理论训练和测量实践。如果你不曾有过这类训练和实践，我会感到很遗憾。
Thank you so much for the information.
In a mathematician's eyes, a sample is a given set; and nothing is variable, so they treat the set as a certainty. However, a sample is a random set and variable to population. Nothing is certainty.
The optimization takes the idea of "one-to-one correspondence" to make the model selection. This is a shame for a mathematician doing in this way since nothinig is a one-to-one correspondence in a random sample. Every correspodence in a random sample is random.
--- Statistician George E P Box, in "Science and statistics", Journal of the
American Statistical Association 71:791-799, quoted in Holling, C S, Stephen R Carpenter, William A Brock, and Lance H Gunderson, “Discoveries for Sustainable Futures”, Ch. 15 in Gunderson, Lance H and C S Holling, Panarchy: Understanding transformations in human and natural systems, Island Press (2002), p. 409
Please refer to my response below inline between the dotted lines as such:
--------------
my response
---------------
回复nightrider的评论:
Thank you very much for your time and attention. I would like to take this opportunity to clarify something that I might not expressed clearly in this blog article, though they have been clearly stated in my papers in two JSM's proceedings.
> The "segmented regression or piecewise regression" you mentioned refers to this http://en.wikipedia.org/wiki/Segmented_regression, right? <
Exactly I would like to say, the concept of the "segmented regression or piecewise regression (I prefer the latter one as the formal term in the field)" are not referred from that website, but from several formal top journals in Statistics, like JASA, Annals of Statistics, etc.
The classical method in this field was developed from 1959 to 1979, then turned to spline as the modern form with the enforced continuity assumption and smoothing techniques. Although the methodology for piecewise regression has been continuously developed since then, the basic assumption and the computation techniques are almost the same or similar. What are improved are just the computation technqiues for estimating each threshold or change-point or node and for smoothing the connections in spline in different situations. No one had ever doubted the theoretical issues behind the assumptions and the computation techniques untill I began to doubt them in 2007.
-----------------
Good that you provide a little background information. But you still not have not stated clearly what your objection is.
------------------
> Of course the line can be replaced with nonlinear parametric curves.<
No, sometimes we don't need a smoothy non-linear curve to describe the entire process, but need a threshold to change something, i.e. a policy for investment, etc. A smoothy curve may not help to find the critical point to make a decision.
---------------------
You misunderstood my statement. I meant the curves between the break points or discontinuity be smooth parametric curves, linear or not. After all, the discontinuity is what you are after, isn't it? You do need only a finite number of discontinuity, don't you? So the rest of the curve has to be continuous or smooth, doesn't it?
-------------------------
> Does your first question concern with the legitimacy of the least square method for deducing the parameters? <
No, the LSM is correct for estimating model parameters covering a specific whole sample. What I criticized is the computation techniques ba23sed on an optimizational approach to make a decision for the piecewise models, and the assumption of enforced continuity for estimating the thresholds and smoothing the connection between any two adjacent piecewise models in a whole sample space.
In the current methodology, usually we don't know where a threshold or node is, so we have to search it in a sample space based on a real sample. This means that we have to assume each real sample point may be the threshold or node, thus, if the sample size is n; and there is only one threshold, we will have n pairs of piecewise models and n combined sums of squared residuals because of n pairs of piecewise models. Then, which is the pair that we can expect? The current method took the smallest combined sum of squared residuals (this is an optimizational approach) in the n combined sums of squared residuals to make the model selection, then to estimate a theoretical threshold by taking Model_1 = Model_2 (this is the so-called enforced continuity) in the selected pair of the piecewise models.
It sounds extremely solid in a mathemtical point of view, right? However, if the connection variablity at an unknown sampling threshold cannot be assumed to be zero, we cannont take the equation Model_1 = Model_2 to estimate the unknown threshold or node. This will be an ultimate obstacle to a mathematician in Statistics. This means that the curent methodology is a dead end or went onto a dead path! We have to find another way.
--------------------------
You need to be more specific to in explaining the present methodology of "estimating theoretical threshold by taking Model_1 = Model_2 and your objection concerning "connection variability". Could you give a reference for a thorough mathematically rigorous treatment of the present methodology and a link to your "papers in two JSM's proceedings"? The discussion would be much more efficient and concrete looking at the mathematics.
-------------------
> Is the "enforced continuity" in your second question referring to the whole of the regression curve consisting of the segments (straight line or not) having to be continuous? <
Yes!
-------------------
Now you are confusing me. If the curve is piecewise, then discontinuities are allowed and continuity is not enforced. Judging from your comments above, your answer here should be "No".
---------------------
>所有的模型都是错的，但是有的模型是有用的 (All models are incorrect, but some models are useful)。<
In my opinion, 这可能是一个无知者的谬论。他不去努力找到一个尽可能充分直至终极正确的途径，却以一种诡辩式的语气为自己开脱责任。
Thank you very much for your time and attention. I would like to take this opportunity to clarify something that I might not expressed clearly in this blog article, though they have been clearly stated in my papers in two JSM's proceedings.
> The "segmented regression or piecewise regression" you mentioned refers to this http://en.wikipedia.org/wiki/Segmented_regression, right? <
Exactly I would like to say, the concept of the "segmented regression or piecewise regression (I prefer the latter one as the formal term in the field)" are not referred from that website, but from several formal top journals in Statistics, like JASA, Annals of Statistics, etc.
The classical method in this field was developed from 1959 to 1979, then turned to spline as the modern form with the enforced continuity assumption and smoothing techniques. Although the methodology for piecewise regression has been continuously developed since then, the basic assumption and the computation techniques are almost the same or similar. What are improved are just the computation technqiues for estimating each threshold or change-point or node and for smoothing the connections in spline in different situations. No one had ever doubted the theoretical issues behind the assumptions and the computation techniques untill I began to doubt them in 2007.
> Of course the line can be replaced with nonlinear parametric curves.<
No, sometimes we don't need a smoothy non-linear curve to describe the entire process, but need a threshold to change something, i.e. a policy for investment, etc. A smoothy curve may not help to find the critical point to make a decision.
> Does your first question concern with the legitimacy of the least square method for deducing the parameters? <
No, the LSM is correct for estimating model parameters covering a specific whole sample. What I criticized is the computation techniques based on an optimizational approach to make a decision for the piecewise models, and the assumption of enforced continuity for estimating the thresholds and smoothing the connection between any two adjacent piecewise models in a whole sample space.
In the current methodology, usually we don't know where a threshold or node is, so we have to search it in a sample space based on a real sample. This means that we have to assume each real sample point may be the threshold or node, thus, if the sample size is n; and there is only one threshold, we will have n pairs of piecewise models and n combined sums of squared residuals because of n pairs of piecewise models. Then, which is the pair that we can expect? The current method took the smallest combined sum of squared residuals (this is an optimizational approach) in the n combined sums of squared residuals to make the model selection, then to estimate a theoretical threshold by taking Model_1 = Model_2 (this is the so-called enforced continuity) in the selected pair of the piecewise models.
It sounds extremely solid in a mathemtical point of view, right? However, if the connection variablity at an unknown sampling threshold cannot be assumed to be zero, we cannont take the equation Model_1 = Model_2 to estimate the unknown threshold or node. This will be an ultimate obstacle to a mathematician in Statistics. This means that the curent methodology is a dead end or went onto a dead path! We have to find another way.
> Is the "enforced continuity" in your second question referring to the whole of the regression curve consisting of the segments (straight line or not) having to be continuous? <
Yes!
I am trying to understand your two questions. As it appears that you have expended so much time effort trying to understand and challenge what you call mistakes in statistics, would it not be helpful for you and for your audience to state clearly and rigorously the problems first? What you have written written here does not appear that you have not done that. If what appears here is what you wrote to the journals and the experts, at least it is not exactly clear to me what you are trying to say. I will have say that some of the review comments you quoted are not that off mark, regarding the clarity of your presentation.
As an attempt at clarification, allow me to ask you a few questions. The "segmented regression or piecewise regression" you mentioned refers to this http://en.wikipedia.org/wiki/Segmented_regression, right? Of course the line can be replaced with nonlinear parametric curves. Does your first question concern with the legitimacy of the least square method for deducing the parameters? Is the "enforced continuity" in your second question referring to the whole of the regression curve consisting of the segments (straight line or not) having to be continuous?
你让我感到有点可笑或自嘲。我本是想通过这篇拙文唤醒哪怕是一个统计学家，没想到却招来了你来试图唤醒我！看来，我得闭门反思了。多谢你的警醒。
在我看来，统计学根本不应被认为是一门纯粹的数学分支学科，它其实是一门数学化的认知方法论，而认知方法论原本属于哲学范畴内的认识论（epistemology）而非数学范畴的某个门类。只不过，统计学由于大量应用了数学技能构建算法而体现出了一定程度的“数学”属性，但其本质依然属于认知方法论，其目的绝非为了提出、论证和演绎数学命题，而是如何实现认识外部客观世界的某种更加可靠的途径。所以，一个数学背景的人如果不懂基本哲学，尤其是认识论的基本原理，它是没有资格在统计学领域从事方法学构建的。
我的上述论断可能会伤害某些数学背景的统计学专家。但愿人们能够理解我所说的道理。
多谢你的激情参与，也感谢你的警醒和劝告。
我想我不是一个只会在嘴巴上说说的人。你认为“哲学和神学只有说教，没有基于事实的讨论。极端的固执，不顾事实。”我想，我在这篇拙文里陈述的很多东西应该属于“事实”而非臆造。如果统计学家们不能认真对待我所指出的事实和错误，那么，他们将没有能力开创新的局面。
至于你提到的统计学可能需要一次大的变革，我想我已经为此做出了自己的贡献。遗憾的是，它们尚未被学术界认真对待，或许他们根本就没有读懂我的思想和方法。我的医学和公共卫生的master背景在统计学这个被认为是数学分支学科的领域将不会被人认真对待。
除了这篇质疑和批判性的书信稿，我将在以后的博客文章里逐渐披露自己这些年来所做的工作。我想，如果你是一位卓有成效且功底很深的统计学家，你将会为此感到震撼不已——为什么一个如此背景的人能够完成这样的工作？
当一个方法论不能自圆其说或自相矛盾时，就一定不是一个正确的方法论。你可以试各种方法，但只有那种能够自圆其说且不违背其fundamentals的方法才能够被认可；一旦某个方法被发现逻辑悖论或缺陷，它就必须被修正。
Who is your 校友 旭光? Is there any way I can get in touch with him?
Thanks and best regards,
alsoRun
有很多东西，是互相部分相连的，但又有本质上的不同。如果一定要用统计学去完全解释生物学，或者用哲学去解释统计学，或者统计学是否合乎哲学的解释，本身就是有点荒诞的。之所以他们以它们各自的独立身份存在，就是由于他们有本质上的不同。如果您硬是要找到他们的统一，就应当到更高的层次上去找，而不是到他们互相之间去找。您以为呢？好了，我就此 Shutup了。
Yes, you are right. Thanks very much.
The American Statistics 是不是 The American Statistician 之笔误？
http://blog.wenxuecity.com/myblog/29080/200910/31855.html
也许对理解这类问题有帮助。
本人看过大量的论文，参与过不少实际运算的研究项目，将各式各样的统计方法用于生物学的研究当中。到目前为止，在现有的数据和生物学知识的基础上，没有一种方向能为药物研制作出重大贡献，而公司和学校投入的资金至少是以亿（美）元计算了。
我非常悲哀地承认，统计学可能有重大的缺陷。就像牛顿物理学不能解释光线的波粒二项性一样，在商业和人工智能方面大显身手的统计学，可能需要一次大的发展才能对生物研究和药物开发有贡献。
但是，那么多的统计方法都失败了，现在任何一个人提出一个新的统计方法，在没有应用到药物研究中的基本的数据和证据之前，我都不会去多看一眼。让数据说话，让成果说话，不单单用舌头说话，是科学和哲学最基本的区别。
哲学和神学只有说教，没有基于事实的讨论。极端的固执，不顾事实，其实来源于个人多次的失败和内心的怯弱，以致于以强硬充门面。诚心希望博主的才华和努力，不要成为博主怯弱和固执的牺牲品。
不敢期望博主改变，如果能有一个来访者能受我一劝，不走进与博主类似的死胡同，我就满足了。
唉。老兄别争论了吧。
正是因为有用，至少在我所知的实际领域如此， 你一定要证明理论不成立，就很难说服人了。 也许在你所知的例子，真的无效。
理论这样的东西，只要在特定情况下有效，就有人要用啊。
更别说，能用于赚钱实用方面了。 实实在在的赚钱，你说它是怪论，无效，怎么能说服人？
第一个用在股票的抄底摸顶。
第二个用在趋势跟随交易。
实实在在的每天应用着，你倒是争论着成立不成立呢。 你看看杂志给你的投稿评论，也就是这个意思吧。
风凉话少说，有本事请切入主题来点真格的；otherwise, 去杂志社投稿支持或反驳本文作者，或者，please shut up.
转贴原文以记录发布和最终修改日期和时间：
标题：数学家们在统计学领域犯下了几个严重的错误
稳健回归的开创者、美国著名的统计学家、前美国总统科技顾问Peter John Huber于1997年11月在北京中国科学院数理统计研究所演讲时说道：“很多数学背景的统计学家们在统计学领域犯下了严重的错误，导致了很多思想和方法上的混乱。”他并期待着一股来自数学以外的力量能够推动统计学和数学的变革。
听到这个演讲内容和观点后，我的第一感觉是，如果这个力量存在的话，那么，它只能是哲学，因为哲学是人类一切知识的认识论和方法论根源，因而也是一切知识的终极裁决者。
一个学统计的，如果不懂哲学，便如一个在黑暗中摸索的瞎子。对于在黑暗中感到困顿的人，哲学将会开启他的智慧，并赋予他一盏明亮的灯，照亮他前进的道路。
最近试图与几位著名的数学背景的统计学家交流自己的思想，但无一愿意给出有价值的东西，他们基本采取了沉默不语或不屑理睬的态度。为此，我把试图与他们交流的东西发表在自己的博客里，作为对整个系统的挑战之一。这个挑战将一直存在于这里，以便人们可以观瞻这一科学史上的悲剧。
Dear Dr. XXX，
您能够解答我的以下两个困惑吗？
我在长达近14年多的时间里做的是关于临界回归分析或分段回归分析（segmented regression or piecewise regression）的逻辑与算法的重建。我之所以坚持不懈地这样做，是因为我相信没有一套数学公理系统可以演绎出这个方法论，而当前的方法论存在严重的理论错误。这个领域里最困扰我的问题有以下两个：
第一，在基于样本测量的基础上在样本可测空间上搜索未知临界点时，目前的经典方法论是以随机分段模型组中最小合并预测残差（min(combined residuals)）作出一组“最优”的模型决策，也就是所谓的最优化决策。我想请问，这个决策的数学根据是什么？谁已经或能够从概率论上证明那个最小合并预测残差与所谓的“最优临界模型组”的随机参数集合之间的对应是一个“可期望的”或“可靠的”对应，或者说，上述两个随机测度的收敛在各自的可测空间上具有概率上最大且充分的一致性。
我从直觉上看这个对应是不可期望的，因为无论是最小合并预测残差，还是对应于它的随机临界模型组的各个统计量都是随机的“点”测量，它们之间的对应关系就好比我们在一定的样本量条件下得到的一组同质人群的身高与体重之间的随机的点对应一样。如果我们的研究目的是试图用“身高”这个随机变量来对“体重”这个随机变量的某个属性做出统计决策，我们显然是不可能使用min(身高)或max(身高)来做出一个关于“体重”的那个属性的稳定而可靠的决策的。这样的“最优化”在统计学上是绝对不可接受的，因为，If we could use min(X) or max(X) to make a statistical decision for Y, where both X (maybe an optimizer) and Y (maybe a set of parameters of a set of threshold models) are randomly variable, then all the fundamentals of Statistics would be collapsed.
第二，关于spline技术在临界回归分析中的应用。这里有一个前提假设，即所谓的enforced continuity，这个假设是以数学函数理论求解临界点的关键条件。没有这个假设的给定，就无法使用解联立方程组的方法求解未知临界点。但是，从统计学的角度，如果一个总体中存在一个临界点，那么，在随机抽样的条件下，在样本临界点（如果它可以被以另外的方法估计出来的话）附近的两个临界模型间将必然存在一个抽样的连接变异（这是一个确定性的存在），至于这个连接变异有多大多小，nobody knows（也即这是一个非确定性的存在），从而，我们不可以强制性地预设那个“连续性”来建立一套方法论。反之，如果坚持采用那个强制连续性的假设，就等于是用一个确定性的假设来否决了一个确定性的存在，并以假定的方式肯定了一个非确定性的不存在（非确定性的连接变异 = 0，即肯定了“非确定性的连接变异”的不存在）！这是一个令人惊叹的低级错误。
If the continuity between two adjacent threshold models is not inferred in a probability, it is not a statistical method but a mathematical game with an arbitrary assumption in a certainty for an uncertainty.
所以，我认为以上两个问题可能是统计学方法论发展史上的两个悲剧性错误。我在2007年和2009年的JSM会议上曾两次谈到了这两个错误，也曾试图投稿发表自己的见解，却被所有杂志社拒绝了，但却从来没有人对这类拒绝的理由给出任何专业方面的解释。这些期刊包括（按投稿时间顺序）：
Biometric (2次修稿。唯一评论：目前的方法比这个好)
Statistics in Medicine (1次投稿。唯一评语：没有创新)
JASA (3次修稿。第一个评语：本文的思想确实有趣(definitely interesting)，但数学表达不规范，会使审稿者感到burden。最终评语：该文不适合发表)
Biometrika (1次投稿。唯一评语：本刊空间有限)
Annals of Statistics (7次修稿。第一个有意义的评语：本文试图挑战the large body of Statistics and Mathematics,但以本文目前的英语写作水平，不足以令读者信服。最终评语：建议投稍微低一点的刊物)
Computational Statistics and Data Analysis (2次修稿。唯一评语：作者有点妄言)
The American Statistics (1次投稿，唯一评语：无法判断本文的观点和方法是否正确)
上述两个问题我曾请教过哈佛统计系的主任孟晓犁(Xiao-Li Meng)以及当前的Annals of Statistics的副主编蔡天文(Tong Cai)，然而，这两位杰出的数学背景的统计学家无一愿意回应。所以，那两个困惑对于我依然待解，我相信没有哪个数学背景的数理统计学家可以给出关于它们的肯定的论证，因为它们本是统计学领域的两个谬论，是由于概念缺失导致的分析逻辑和数学算法上的错误。
人们可以继续无视我所做出的东西，因为作为国内医学院毕业的master-level的我在统计学领域的credit可以被忽略不计，但问题将依然存在。正如Dr. Huber所指出的那样，“一些数学家习惯于以他们的确定性思维模式来解决非确定性领域的问题”，这是统计学领域中一切错误和问题的根源所在。
上次看你辩论医学院教育的事，我才发现原来是你自己管自己叫统计学家。
我也是看了二姐的题目进来的，从上次以后，很怕点进你这里，文学城头的导读有时候挺坑人的。
You are a great hero in the sports you just mentioned below. Hope you can win them. However, if you are a great statistician, please leave your answers for those questions since I have said that this blog is a challenge for anyone in the field of Statistics; otherwise, dream yourself as you wish you were whatever you want to be.
The mathematics in Statistics should not be contraditory to itself!(统计学中的数学不应该与其自身相矛盾！)
你所说的话让我怀疑你是否有过现场调查和数据管理的经验。你很可能是一个学院式的统计学家，只会用几个数学概念在自己的脑袋里演绎外部客观世界，并坚信自己的演绎是正确的，因为它们在你看来可能符合你的假设条件和基于此上的数学原理。
真的能一样吗？
统计学，不就是对存在的现象进行规范化后的描述。 能用于实际上的有限预测，指导生产等。 给出的是，一定的可能性。这些在数学上，如何纯理论性证明？ 你的第2个问题很符合股票价格的走势预测理论，原本也许就来自实际现象，钻什么牛角尖啊。
是一个很有用的交易手法。
如果你是一个数学背景的统计学家，如果你想接受那个挑战并在这里发言，就请说出几句有价值的话，否则，就让我的那个在你看来似“精神病患者般”的傻笑陪你进入梦乡好了。
如果你是某个统计杂志的编辑或同行评议者，如果你曾犯下了类似的错误，你会允许我的思想发表吗？
要不是“二姐”， 我根本不会回这文学城了。
http://blog.wenxuecity.com/myblog/40482/201208/17777.html