量化的迷区——揭开误导性大学排名的秘密

量化的迷区——揭开误导性大学排名的秘密 2002.04 首发于网大论坛 来自“中国大学排名第一网”的“排名学”专家武书连有一个自称很“权威”的大学排名。这个排名属于最令人大跌眼镜的中国大学排名了，人大、科大、协和、上海财经等小而精的学校不知道被排到哪里去，九大国立大学当中（清华、北大、南大、复旦、科大、上交、西交、哈工、浙大），科大、哈工大被踢出前10，更可笑的是科大的“本科生排名”是70，要知道科大的本科生源肯定是TOP5，甚至是TOP3的。 武书连振振有词地说，他的排名经过很多专家评估，又有这么多数据支持，不象网大排名只搞搞问卷调查。所以他的排名科学而权威，他肯定不会有错，如果有错，那也是我们观众的感觉错了。 我对各种排名向来是不屑一顾的，我自己心里有自己的排名，从来不认同其他什么排名。但是武书连居然把自己搞出的笑话说成“科学”，本人就不得不分析一下这所谓的“科学”，以正视听了。 1、武书连认为，人才培养和科学研究的比重分别是：0.6251和0.3749。理由：全国所有大学当中，从事教学工作的人员：从事科研工作的人员＝62.51：37.49。 武书连的错误在于，他错误地使用同样的比例放在所有的大学身上。我们知道，研究型大学和教学型大学的教学人员比例：科研人员比例是完全不同的。中国绝大多数大学都是教学型大学而不是科研型大学，在9所国立当中只有浙江大学属于教学型大学，其余都是科研型大学。因此62.51：37.49的比例用在九所国立大学的比较当中，对浙大有利，对几乎是纯科研型的大学例如科大、哈工大不利。假设武书连的这个算法仅仅用来比较九所国立大学，那么这个比例将变小，因为九所大学的教学人员：科研人员明显会比原来的比例低（原因是九所国立大学只有浙江大学是教学型大学），比如说比例就会变成40：60，这个比例对浙大将是极为不利的，但是对科大、哈工就变得有利了。 武书连是文科生，没有学过计量经济学，所以不知道这个算法产生了“群集误差”。正确的算法应该是，首先使用Cluster Analysis（集群分析）把具有相似性的大学分出来，然后才计算科研：教学的比例，比较只能先在各个子集里进行。所以这就是为什么很多人提倡把“重点大学”和“非重点大学”排名分开排的原因！ 2、武书连认为，“难度系数”＝（G/P）／(Gri/Pri)，其中Gri是r类大学（综合、理工、农、林、经等）的科研总得分，Pri是r类大学的人数。有趣的是计算“人才培养”的时候，Gri不再是r类大学所有教学人数总和，而是变成了所有大学的教学人数总和。 首先武书连把大学按专业性分类来评价科研成果，在一定程度上避免了上面说过的“群集误差”，但是在计算“人才培养”时又取消大学分类，因此“人才培养”得分存在严重的“群集误差”。 在“人才培养”一项，所有大学的“难度系数”相同。Gri/Pri即62.51，而我们知道这个数值拿来衡量九大国立大学的时候是高估的，因此九大国立大学当中，只要学生人数、教师人数不够多，“人才培养”的得分就被低估了。 在“科研成果”一项，难度系数取决于同行的Gri/Pri，在Pri（人数）一样情况下，Gri（科研成果）越低难度系数越高。在Gri一样情况下，Pri越多难度系数越高。因此难度系数鼓励“人多”、“成果少”。如果我们假设每个专业性只有一所大学参与评选，于是该大学的成果变成(G/P)／(Gri/Pri)*Gri＝(G/P)*Pri，这时科研成果得分仅仅取决于该大学的“人数”！！！所以“科研成果”项对人数多的大学有利，即使在成果相同情况下，人数多的大学由于“难度系数”高，结果科研成果得分也多。 说到这里，大家就知道为什么科大、哈工大落选TOP10了吧。原因在于武书连的评价标准不但在“人才培养”项只考虑人数，在“科学研究”项也把人数因素列入，所以得到了可笑的结果。我敢断定，如果使用武书连同样的计算方法，但是只分析九所国立大学，那么得到的排名将会完全不同。这时候没有什么专业性大学区分了，因为所有参与排名的大学几乎都是理工强校，难度系数也应该取消。这样我们几乎可以肯定，浙大将是最后一名。 更令人怀疑的是学术研究的二级指标通通没有公开，而这些二级指标当中包括了所谓的省部级奖励等垃圾奖项，和SCI、EI、国家科技奖放在一起十分滑稽。对这些二级指标的权重分配，也有许许多多的猫腻在内。 我说这个例子，主要是破除大家对“量化”的迷信，国内好象什么都喜欢搞“量化”，评教授、评职称、评先进，通通都要“量化”，而武书连最得意的事情是他的排名比网大的更加“量化”。从上面的例子可以看出，量化并不一定带来公正的结果，只不过是主观意愿隐藏在复杂的计算当中，别人看不出来罢了。国外评教授从不看发了多少SCI论文，我知道UC Berkerley还有一个终身教授是一篇TOP Journal的论文都没有的。别人怎么让他当了终身教授呢，其实只要让他把研究计划，研究方法写出来，行家就可以看出他的科研有没有向前发展的潜力，是否可能有惊人的重大成果，根本就不需要看他发了多少篇论文。所以国外的教授才会潜心学术而不是象国内的教授那样浮躁整天想着造论文。中国的SCI、EI论文数量大涨全红，可是科研怎么样？还不是一堆泡沫？ 前面我的分析通通没有指向武书连版排名的指标选取的价值取向问题，而仅仅谈了计算方法。下面不妨看一下指标选取的价值取向，武书连选取指标的基准首先是教职员工的构成比例，然后使用这个这个比例评价教职员工分别在教学和科研上的贡献。假设他的排名是完全正确的，这个排名也仅仅能够用来评价大学在教学、科研的数量产出（而不是质量）。这个排名对什么人有指导意义呢？显然对教育部的官员有一定的指导意义，如果教育部认为，在完全不计较教学科研质量的情况下，要求平均到每个人身上的投资一样，那么投资规模应该参考武书连的排名。但是这个排名对考生完全没有任何意义，因为考生考虑的是教学和科研的质量而不是数量。我们不妨看一下武书连推荐的学校： 想当一流经济学家，应该选择中国人民大学、厦门大学、武汉大学、上海财经大学、南京大学；想当一流管理学家，应该选择浙江大学、华中理工大学、西安交通大学、北京大学、武汉大学。 而根据经济学重点学科评比结果，经济学牛校应该是中国人大、北京大学、南开大学、复旦大学、厦门大学；根据管理学重点学科评比结果，管理学牛校应该是清华大学、西安交大、天津大学、人民大学、中山大学。可见只看数量不看质量的武书连版排名真的是狗屁不如。 有趣的是，我们不妨看一下经济学重镇北京大学的重要教员的背景，根据我的不完全统计，他们分别来自北京大学（姚洋、宋国青、张帆、赵耀辉、平新乔、海闻、林毅夫）、中国人大（张帆、周其仁、胡大源）、中国科大（金甫春、陈平）、华东师大（平新乔）、南京大学（施建淮）、北京师范（汪丁丁）、上海财经（施建淮）。厦门大学和武汉大学榜上无名，而在经济学领域似乎寂寂无名的中国科大居然有两人入选。事实上武书连版排名犯的错误是南京大学最强是管理学而不是经济学，可笑这里居然把南京大学的经济学推荐给高中生，而忽略了更强的南开大学、复旦大学、北京大学。 如果看一下管理学重镇清华大学的教员背景，我的不完全统计，他们分别来自清华大学、天津大学、西安交大、中国科大、华中科大、人民大学、厦门大学、北京大学。武版排名当中排名第一的浙江大学一个都没有。如果再继续跟踪清华大学经管学院招收外校保送生情况，我对最近几年了解是，保送生生源来自：北京大学、人民大学、中国科大、复旦大学、华南理工，唯独没有武版排名当中第一的“浙江大学”，原因是浙大学生素质太差劲，计量经济学当中的单根检验都不知道是怎么一回事，数理水平惨不忍睹，连人民大学的学生都不如，更不要说跟理科牛校北京大学、复旦大学、中国科大的学生比了。本来浙大合并成“中国第一校”就是个笑话，武书连排名给这个笑话加上了花边，让这个泡沫变得更加迷惑别人了。