溪谷过客

从一个过客的角度来理解和诠释世界。
正文

百度闹出的笑话

(2016-06-03 12:05:58) 下一个
这里讨论的既不是影响恶劣的魏泽西事件,也和臭名昭著的百度贴吧无关,而是一个不太为大众所关心的名叫ILSVRC的人工智能竞赛。
ILSVRC的英文全名叫做ImageNet Large Scale Visual Recognition Competition是人工智能领域内最高级别和最有影响力的物体识别竞赛。竞赛的形式很简单:ImageNet 网站里存放着多达1000种不同物体的照片,人工智能专家们把自己写出的程序上传到网站去识别照片上的物体。谁的识别率高,谁就获胜。
近些年来,这项比赛的结果一直在不断地高歌猛进。ImageNet的记录显示:在2012年,冠军程序的出错率为15.315%;仅仅两年之后,当谷歌获得该比赛冠军的时候,其出错率已经大幅度降低到了6.66%
2015113日,百度发表论文宣称自己的出错率下降到了5.98%,比当时的世界记录低0.5%还多!
半个月后的26日,微软发表论文宣称自己的出错率已经下降到了4.94%。这是一个极有意义的里程碑,因为这个百分比已经比测试人类双眼得到的出错率还要低。
仅仅五天之后,也就是2015年的211日,谷歌再次发表论文声称自己的出错率已经降到4.8%
2015511日,百度豪迈地告知世界自己的出错率达到了4.58%,再次大幅度刷新世界纪录!
然而令世人瞠目的是,到了201562日,ILSVRC突然取消了百度所保持的世界纪录,同时宣布禁止百度参加此项比赛12个月。为什么?因为百度违反了比赛规则。
ImageNet里存放着大量不同物体的照片。这些照片分为两类,一类是供开发用的,共有150万张。这些照片任何人都可以随便使用,没有限制。
另一类则是为比赛专用的。为了使不同程序之间的识别率有可比性,此类照片数量较小(10万张),每个参赛队每周最多只能使用两次,作为最终检验程序性能所用。
这和高考、托福或GRE的考试原理一模一样:模拟题、考古题不计其数。为了提高考试成绩,考生完全可以使用题海战术。你就是将模拟、考古题以“吾将上下而求索”的精神反复做上十万遍,也没人干涉你的自由。但考试的真题可不能随便让你做的,否则考出的结果就会失真。
百度开发团队的队员是不是上述各类考试的高手不得而知,但他们的应对方法却再一次彰显了在应试教育环境下成长起来的国人的无穷智慧。
很明显,百度团队并不满足于只做模拟和考古题。他们知道,要想在考试中获得高分,哪怕只是对出题方向或考试范围有所了解的话,都会让自己在考试中处于更大的优势。于是他们成立了很多很多的“虚拟团队”。每个团队的账号每星期可以使用两次,那么只要注册30个账号,每星期就可以神不知鬼不觉地测试60次了。
针对十万幅照片去优化自己的程序,当然容易得多,出错率也会降得更低。
我甚至猜想百度员工在成功地进行了60次测试后还会自鸣得意地嘲笑美国佬:太蠢了,设置有这么大一个漏洞的规则,傻子才不去钻这种空子呢!
问题是,美国佬并没有他们想象的那么傻,美国佬那有漏洞的规则其实是天网恢恢,疏而不漏。
ImageNet的官方网站上,ILSVRC的组织者宣布,自2014年的1128 2015年的513日之间,百度至少使用30个账号进行了200多次测试。仅在2015315日至319日的5天内,他们就进行了多达40次的测试,远远超出了官方所规定的“每星期两次”的要求。
重提这件发生于去年的陈年旧事,目的并不在于挖苦百度,更多的是想警戒自己。因为我发现,这种挖空心思想要钻规则空子的行为和心理,在我们普通人身上(包括我自己在内)其实并不罕见。
不是吗?当我们去餐馆吃自助餐的时候,明明已经吃饱,却总要再去灶台上弄些值钱的螃蟹腿或龙虾之类的东西硬撑下去,即使知道这样做只会给胃增加难以承受的负担。在商场购物的时候,已经跟商家砍价很多了,最后偏要申请一个信用卡做一次性支付,目的是在砍价的基础上再得到百分之几的折扣。当然,那个信用卡随后会被我们及时取消。每当上网合约快要到期的时候,我们总会打电话给运营商要求取消计划,然后用另外一个人的姓名要求重新加入,以便拿到为新客户促销的低廉价格。有时候这样做并不见得真能获得多少利益,只是我们已经形成了一种惯性:这惯性使得我们对世间的一切空子极易敏感和兴奋,一旦遇见便绝不会让自己与它擦肩而过。
普通人拥有此类惯性并无大碍,最多也就被一些自命清高的人觉得没修养,上不得台面。然而以如此精神去研究人工智能,恐怕只会断送国人希望在此领域内领先世界的强国梦了。
百度被禁赛已满一年,现在应该已经恢复比赛资格了。不过由此事件而造成的恶劣影响已经永久性地留在互联网之上了。您要是不信,就请用 Baidu + Cheating 两个关键词去谷歌上搜一搜,看看能搜出什么结果。
好奇之余,我把上述两个关键字送入了百度自己的搜索引擎。用英文关键字搜索,搜不出任何来自ILSVRC的原始文件和国外媒体对该事件的报道。用中文百度+作弊搜索,只能搜到一些百度道歉以及开除该项目负责人吴韧之类的报道。令人大开眼界的是,其间居然还包含着一篇排名不低的百度其实没有作弊的文章。
人工智能没搞好,操控舆论的本领倒是练得驾轻就熟。
也许上述这些文字纯属小题大做。百度这点儿事算什么?以严谨和敬业而著称的德国人,不也同样出了大众“尾气门”丑闻吗?
[ 打印 ]
阅读 ()评论 (0)
评论
目前还没有任何评论
登录后才可评论.