2006 (217)
2007 (225)
2008 (142)
2010 (96)
2011 (174)
2013 (239)
2014 (120)
2017 (1)
2023 (348)
2024 (102)
深度探索面世,令美国股市跳水,其训练一个大模型的费用,少于Meta很多高管的年薪。这种现象,我也有过类似的经历,可以说开始还是一个强烈的文化冲击。
我做博士研究的时候,面对一个实验问题苦思冥想,寻找一个可以解决问题的电路设计。而白人同学,还是原有的电路设计不变,只是翻看摩托罗拉器件手册,找了一个性能更好,各项指标更高的器件,要老板买新器件。这是三十多年前的事情了,具体细节我都忘了,只是那个文化冲击至今没有忘记。
深度探索以很少的资源,很低等的硬件,做出来的模型不比美国砸钱砸设备做出来的大模型逊色。我认为就是个文化问题。
中国文化求诸于内,基督教文化求诸于外。比如中国人求佛,求诸于内,佛在心中,要冥想修禅。正心诚意,格物致知。西方人求上帝,求诸于外,必须借助耶稣,否则就不能和上帝沟通。
我在女王大学物理学磁性组做过两年博士后。磁性组的专攻,就探测油气管道的缺陷,检查管道是否需要更换。老板让两代研究生做了个计算机模拟程序,计算有缺席的管道的电磁波。管道是圆柱形的,用到柱函数。柱函数是超越函数,解是存在的,但用公式笔算是算不出来的,类似我们学习三级函数,中学学习时是查表,或者用计算尺,后来当然是用计算器和计算机。
那个模拟程序慢得要命,放上一个参数,要算上几个小时才输出数据。那时候计算机也是一种试验,数据出来了,看看效果,要调数据再算,管道参数,缺陷尺寸参数,电磁信号参数等等,调一个参数,上午开机,下午才知道一个结果,那一天时间不是坐等计算机计算的,一定是去干其它工作,其它工作也不便就随意中止,结果那个程序基本等于没有用。想算一个东西吧,两三天后就放弃了,妥妥的烂尾楼研究。于是老板让我优化这个程序。
计算机程序里边有循环计算,我发现那个程序,很多循环里边有超越函数,特别是循环套循环,套三层循环里边调用一个三级函数,那得把计算机跑得发热。我于是放弃了在循环里边调用函数,给一个精度判断,用近似公式代替调用函数,如正弦三角函数,数值小的根本不用算,Sin(x)就是x。 我修改了程序以后,每次计算两分钟就出结果了,一个研究生要研究个问题,做在计算机前反反复复调数据,一天轻轻松松就能算出上百个数据,比原来效率提高百倍。原来不实用的程序就变成实验室里得力工具了。
这除了文化心理不同以外,数学素养也很重要。我教授过5年梁昆淼的《数学物理方法》,对数学有感觉。