北京人工智能研究院(BAAI)的研究人员2021年6月宣布了自己的生成性深度学习模型“悟道”(Wu-Dao 2.0 下图 GPT-3 DEMO)，称“悟道”在现有GPT-3基础上，扩展了更多功能。而“悟道”接受的参数已达1.75万亿 (基本上是模型的自选系数)，为GPT-3的10倍，比之前的霸主谷歌开关变压器(Google's Switch Transformers)还要多1500亿个参数。 
为了在这么多的参数上训练一个模型并迅速做到这一点，BAAI研究人员首先开发了一个类似于谷歌混合专家的开源学习系统，名为“FastMoE”(下图 World Stock Market)。该系统可在PyTorch上运行，使模型能够在超级计算机集群和常规GPU上进行训练。这使得FastMoE比谷歌的系统更具灵活性，因为FastMoE可在现成的硬件上运行，而无需类似谷歌TPU这样的专有硬件。 
“悟道”2.0厉害之处在于它可以同时处理文字生成和图像生成这两种方向完全不同、内在原理迥异的困难任务。在实验室年会上，BAAI的研究人员展示了“悟道”执行自然语言处理、文本生成、图像识别和图像生成任务的能力。该模型不仅可以用繁体中文书写散文、诗歌和对联，还可以根据静态图像生成替代文本，以及基于自然语言描述生成近乎照片般逼真的图像(下图 WorMedium)。“悟道”甚至还有“驱动虚拟偶像” 自己制作音乐视频、写诗和创建字幕的能力，以及预测AlphaFold等蛋白质的3D结构的能力。特别要指出的是，这些在海量数据集上训练的先进模型，和人类一样，擅长转移学习。据说在图文生成、诗词创作、智能问答等任务上，“悟道”2.0已接近人类儿童水平。从原来的文本为主逐渐往更强大，更通用的方向上发展 -- 根据文字生成高精度的图片，根据图像去检索文字，实现图像和文字的互相检索。 
发布生成性深度学习模型“悟道”2.0的北京智源人工智能研究院BAAI，英文全称为Beijing Academy of Artificial Intelligence,诞生于2018年11月启动的“北京智源行动计划”。该计划是由北京的企业、高校、科研院所在中国大陆科技部和北京市的支持下共同提出的，旨在协调人才、资金共同推进人工智能研究。成立不到三年，BAAI就发表了多模态神经网络模型“悟道”2.0，显著提升了BAAI在人工智能基础科研领域的受关注度。BAAI的人员组成也相当豪华(下图 BAAI)。 
BAAI创始人兼理事长张宏江，是美国计算机学会 ACM 院士、前金山软件 CEO、微软亚洲研究院联合创始人之一，目前担任源码资本投资合伙人。张宏江是多媒体世界大会第一位担任技术委员会主席的华人，也是开创了计算机视频检索领域的专家之一。BAAI理事会和学术咨询委员会成员也都是行业学术大卡： 黄铁军 BAAI院长兼副理事长，系图像识别和视频编码领域的专家，相关国家标准制定者之一，曾担任北大计算机系主任，2021四月入选中国工程院院士(2021)增选有效候选人名单； 崔宝秋 理事会成员，现任小米集团副总裁、集团技术委员会主席，小米的云计算-大数据-AI发展路线制定者； 孙剑 理事会成员，为旷视首席科学家、研究院院长、曾任微软 ResNet 技术团队领头人，计算机视觉方面专家、连续四年担任计算机视觉顶会 CVPR 领域主席； 王海峰 理事会成员，现任百度首席技术官，兼任深度学习技术及应用国家工程实验室理事长，是自然语言处理领域国际顶级学术组织 ACL 的首位华人主席； 朱松纯 学术咨询委员会成员，系清华和北大讲席教授、及北大人工智能研究院院长，为计算机视觉和模式识别方面专家，曾获得马尔奖、亥姆霍兹奖等顶级奖项； 徐波理 事会成员，现任中科院自动化所所长、科技部新一代人工智能战略咨询委员会专家委员，长期从事语音语言信息处理研究，系中文语音识别方面的国际级专家。 随着美中在包括IA在内的高新技术科技领域竞争的白热化，相信会有更聪明、更善解人意、写文解题更敏捷的新AI模型会从美国和中国大陆的研究机构和院校出现，人类的生活也会因此更惬意。当然，前提是美、中及其他国家间的竞争是良性的。期待。 最新消息：由中科大潘建伟团队研发的量子计算机“祖冲之号”实现了量子霸权(下图10 THE QUANTUM DAILY)。“祖冲之”像谷歌“铃木” (Sycamore)量子计算机一样，为二维可编程计算机。但“祖冲之”使用56个量子比特，比“铃木”53个量子比特强2-3个数量级的量子优越性。潘建伟团队的相关论文预印版已上传至arXiv上。或许很快美国方面也会有更快的量子计算机推出。无论如何，因为美中间的竞争，科学技术正发生激动人心的变化。 
* FastMoE即Fast(快速)+MoE(Mixture of Experts多专家模型)。MoE是一个基于分而治之原理，在门控网络的监督下，将问题空间划分给几个神经网络专家使用的机器学习技术，也是谷歌最近发布的1.5万亿参数预训练模型Switch Transformer的核心技术。它对于预训练模型经从亿级参数到万亿级参数的跨越，起了重要推动作用。但MoE必须使用谷歌分布式训练框架mesh-tensorflow和Google定制硬件TPU，而FastMoE则可在不同规模的计算机或集群上支持研究者探索MoE模型在不同领域的应用。 * Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor）库，在机器学习和其他数学密集型应用有广泛应用。与Tensorflow的静态计算图不同，pytorch的计算图是动态的，可以根据计算需要实时改变计算图。 参考资料 在野. (2020). 对话出门问问李志飞：GPT-3 是「暴力美学」的一次胜利. GEEKPARK. 链接 https://www.geekpark.net/news/263849 智源社. (2021). 区智源x清华开源FastMoE，万亿AI模型基石. CSDN. 链接 https://blog.csdn.net/BAAIBeijing/article/details/114389119 谭婧. (2020). 史上最大，人工智能算法模型GPT-3问世，这意味着什么？ 澎湃. 链接 https://www.thepaper.cn/newsDetail_forward_8052804 BAAI. (2021). BAAI. 链接 https://www.baai.ac.cn/en Bama, A. (2021). This Chinese Super Scale Intelligence Model, ‘Wu Dao 2.0’, Claims To Be Trained Using 1.75 Trillion Parameters, Surpassing All Prior Models to Achieve a New Breakthrough in Deep Learning. MARKTECHPOST. 链接 https://www.marktechpost.com/2021/06/13/this-chinese-super-scale-intelligence-model-wu-dao-2-0-claims-to-be-trained-using-1-75-trillion-parameters-surpassing-all-prior-models-to-achieve-a-new-breakthrough-in-deep-learning/ Black, D. (2021). China now has the most powerful neural network: it is many times smarter than competitors from Google and Open AI. World Stack Market. 链接 https://www.worldstockmarket.net/china-now-has-the-most-powerful-neural-network-it-is-many-times-smarter-than-competitors-from-google-and-open-ai/ He, H. (2021). China’s GPT-3? BAAI Introduces Superscale Intelligence Model ‘Wu Dao 1.0’. Synced Global AI Weekly. 链接 https://medium.com/syncedreview/chinas-gpt-3-baai-introduces-superscale-intelligence-model-wu-dao-1-0-98a573fc4d70 Naik, A.R. (2021). Wu Dao 2.0: China’s Answer To GPT-3. Only Better. AIM. 链接 https://analyticsindiamag.com/wu-dao-2-0-chinas-answer-to-gpt-3-only-better/ OpenAI. (2021). About. 链接 https://openai.com/about/ Tarantola, A. (2021). China's gigantic multi-modal AI is no one-trick pony. yahoo!finance. 链接 https://finance.yahoo.com/news/chinas-gigantic-multi-modal-ai-is-no-one-trick-pony-211414388.html Wiki. (2021). OpenAI. 链接 https://en.wikipedia.org/wiki/OpenAI |
