国华的世界
这是国华对读过的书, 看过的电视／电影, 听过的音乐, 访游过的地方, 经历过的事物， 和时事的感想或点评.
北京人工智能研究院(BAAI)的研究人员2021年6月宣布了自己的生成性深度学习模型“悟道”(Wu-Dao 2.0 下图 GPT-3 DEMO)，称“悟道”在现有GPT-3基础上，扩展了更多功能。而“悟道”接受的参数已达1.75万亿 (基本上是模型的自选系数)，为GPT-3的10倍，比之前的霸主谷歌开关变压器(Google's Switch Transformers)还要多1500亿个参数。
为了在这么多的参数上训练一个模型并迅速做到这一点，BAAI研究人员首先开发了一个类似于谷歌混合专家的开源学习系统，名为“FastMoE”(下图 World Stock Market)。该系统可在PyTorch上运行，使模型能够在超级计算机集群和常规GPU上进行训练。这使得FastMoE比谷歌的系统更具灵活性，因为FastMoE可在现成的硬件上运行，而无需类似谷歌TPU这样的专有硬件。
“悟道”2.0厉害之处在于它可以同时处理文字生成和图像生成这两种方向完全不同、内在原理迥异的困难任务。在实验室年会上，BAAI的研究人员展示了“悟道”执行自然语言处理、文本生成、图像识别和图像生成任务的能力。该模型不仅可以用繁体中文书写散文、诗歌和对联，还可以根据静态图像生成替代文本，以及基于自然语言描述生成近乎照片般逼真的图像(下图 WorMedium)。“悟道”甚至还有“驱动虚拟偶像” 自己制作音乐视频、写诗和创建字幕的能力，以及预测AlphaFold等蛋白质的3D结构的能力。特别要指出的是，这些在海量数据集上训练的先进模型，和人类一样，擅长转移学习。据说在图文生成、诗词创作、智能问答等任务上，“悟道”2.0已接近人类儿童水平。从原来的文本为主逐渐往更强大，更通用的方向上发展 -- 根据文字生成高精度的图片，根据图像去检索文字，实现图像和文字的互相检索。
发布生成性深度学习模型“悟道”2.0的北京智源人工智能研究院BAAI，英文全称为Beijing Academy of Artificial Intelligence,诞生于2018年11月启动的“北京智源行动计划”。该计划是由北京的企业、高校、科研院所在中国大陆科技部和北京市的支持下共同提出的，旨在协调人才、资金共同推进人工智能研究。成立不到三年，BAAI就发表了多模态神经网络模型“悟道”2.0，显著提升了BAAI在人工智能基础科研领域的受关注度。BAAI的人员组成也相当豪华(下图 BAAI)。
BAAI创始人兼理事长张宏江，是美国计算机学会 ACM 院士、前金山软件 CEO、微软亚洲研究院联合创始人之一，目前担任源码资本投资合伙人。张宏江是多媒体世界大会第一位担任技术委员会主席的华人，也是开创了计算机视频检索领域的专家之一。BAAI理事会和学术咨询委员会成员也都是行业学术大卡：
黄铁军 BAAI院长兼副理事长，系图像识别和视频编码领域的专家，相关国家标准制定者之一，曾担任北大计算机系主任，2021四月入选中国工程院院士(2021)增选有效候选人名单；
崔宝秋 理事会成员，现任小米集团副总裁、集团技术委员会主席，小米的云计算-大数据-AI发展路线制定者；
孙剑 理事会成员，为旷视首席科学家、研究院院长、曾任微软 ResNet 技术团队领头人，计算机视觉方面专家、连续四年担任计算机视觉顶会 CVPR 领域主席；
王海峰 理事会成员，现任百度首席技术官，兼任深度学习技术及应用国家工程实验室理事长，是自然语言处理领域国际顶级学术组织 ACL 的首位华人主席；
朱松纯 学术咨询委员会成员，系清华和北大讲席教授、及北大人工智能研究院院长，为计算机视觉和模式识别方面专家，曾获得马尔奖、亥姆霍兹奖等顶级奖项；
徐波理 事会成员，现任中科院自动化所所长、科技部新一代人工智能战略咨询委员会专家委员，长期从事语音语言信息处理研究，系中文语音识别方面的国际级专家。
随着美中在包括IA在内的高新技术科技领域竞争的白热化，相信会有更聪明、更善解人意、写文解题更敏捷的新AI模型会从美国和中国大陆的研究机构和院校出现，人类的生活也会因此更惬意。当然，前提是美、中及其他国家间的竞争是良性的。期待。
最新消息：由中科大潘建伟团队研发的量子计算机“祖冲之号”实现了量子霸权(下图10 THE QUANTUM DAILY)。“祖冲之”像谷歌“铃木” (Sycamore)量子计算机一样，为二维可编程计算机。但“祖冲之”使用56个量子比特，比“铃木”53个量子比特强2-3个数量级的量子优越性。潘建伟团队的相关论文预印版已上传至arXiv上。或许很快美国方面也会有更快的量子计算机推出。无论如何，因为美中间的竞争，科学技术正发生激动人心的变化。
* FastMoE即Fast(快速)+MoE(Mixture of Experts多专家模型)。MoE是一个基于分而治之原理，在门控网络的监督下，将问题空间划分给几个神经网络专家使用的机器学习技术，也是谷歌最近发布的1.5万亿参数预训练模型Switch Transformer的核心技术。它对于预训练模型经从亿级参数到万亿级参数的跨越，起了重要推动作用。但MoE必须使用谷歌分布式训练框架mesh-tensorflow和Google定制硬件TPU，而FastMoE则可在不同规模的计算机或集群上支持研究者探索MoE模型在不同领域的应用。
* Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor）库，在机器学习和其他数学密集型应用有广泛应用。与Tensorflow的静态计算图不同，pytorch的计算图是动态的，可以根据计算需要实时改变计算图。
参考资料
在野. (2020). 对话出门问问李志飞：GPT-3 是「暴力美学」的一次胜利. GEEKPARK. 链接 https://www.geekpark.net/news/263849
智源社. (2021). 区智源x清华开源FastMoE，万亿AI模型基石. CSDN. 链接 https://blog.csdn.net/BAAIBeijing/article/details/114389119
谭婧. (2020). 史上最大，人工智能算法模型GPT-3问世，这意味着什么？ 澎湃. 链接 https://www.thepaper.cn/newsDetail_forward_8052804
BAAI. (2021). BAAI. 链接 https://www.baai.ac.cn/en
Bama, A. (2021). This Chinese Super Scale Intelligence Model, ‘Wu Dao 2.0’, Claims To Be Trained Using 1.75 Trillion Parameters, Surpassing All Prior Models to Achieve a New Breakthrough in Deep Learning. MARKTECHPOST. 链接 https://www.marktechpost.com/2021/06/13/this-chinese-super-scale-intelligence-model-wu-dao-2-0-claims-to-be-trained-using-1-75-trillion-parameters-surpassing-all-prior-models-to-achieve-a-new-breakthrough-in-deep-learning/
Black, D. (2021). China now has the most powerful neural network: it is many times smarter than competitors from Google and Open AI. World Stack Market. 链接 https://www.worldstockmarket.net/china-now-has-the-most-powerful-neural-network-it-is-many-times-smarter-than-competitors-from-google-and-open-ai/
He, H. (2021). China’s GPT-3? BAAI Introduces Superscale Intelligence Model ‘Wu Dao 1.0’. Synced Global AI Weekly. 链接 https://medium.com/syncedreview/chinas-gpt-3-baai-introduces-superscale-intelligence-model-wu-dao-1-0-98a573fc4d70
Naik, A.R. (2021). Wu Dao 2.0: China’s Answer To GPT-3. Only Better. AIM. 链接 https://analyticsindiamag.com/wu-dao-2-0-chinas-answer-to-gpt-3-only-better/
OpenAI. (2021). About. 链接 https://openai.com/about/
Tarantola, A. (2021). China's gigantic multi-modal AI is no one-trick pony. yahoo!finance. 链接 https://finance.yahoo.com/news/chinas-gigantic-multi-modal-ai-is-no-one-trick-pony-211414388.html
Wiki. (2021). OpenAI. 链接 https://en.wikipedia.org/wiki/OpenAI
“回复 '国华P' 的评论 : +1
了不起，真是了不起！ 还有就是命题不止介绍AI的技术，好指出了中美的竞争。我认为在技术层面上，绝对不会“既生瑜，何生亮”的，只有“瑜比亮更聪，亮比瑜更明”的，人类所以才有今天，才会有未来。”
了不起，真是了不起！ 还有就是命题不止介绍AI的技术，好指出了中美的竞争。我认为在技术层面上，绝对不会“既生瑜，何生亮”的，只有“瑜比亮更聪，亮比瑜更明”的，人类所以才有今天，才会有未来。
所谓的文明就是社会化，就是由单打独斗或者原始部落，走向愈来愈大规模的分工协作，从而达到越来越高的生产效率。
但是只要有社会组织，就必然有阶层有管理，就必然有不平等和阶级矛盾，就必然产生贪婪的邪恶。人类越文明也就越野蛮。
不论是何种社会形式，奴隶社会，种姓社会，封建社会，世家社会，自由资本社会，国家资本社会，以及所谓的社会主义社会，都是换汤不换药的三六九等社会。而且社会阶层对社会资源的占有也都是社会等级的平方比立方比。
上层生活的奢华其实只是冰山一角，真正的大头其实是上层把持资源所能维护的传承，即所谓阶层固化。要想翻身，改变社会必然九死一生，改变自己更是概率渺茫。
而技术的发展或许让这点梦想也扼杀干净。
人工智能这个词现在很火。但是比起古老的机器人一词，明显还是欠缺了内涵。机器人，机器人，机器加人才是正道。
机器加人，可以是简单的人来操作机器，只不过这个机器越来越厉害。厉害到像传说中的法宝，比如如意金箍棒。也可以是把机器嵌入成为人体的一部分，好比神话里的神通，十万八千里的跟斗云。也可以是机器来改造人类的生物技术，比如炼丹炉炼得火眼金睛。甚至可以是把人类植入机器，七十二般变化却是同一个灵魂。
总而言之，加持了机器的人，就是修炼成功的神。得道升仙的道是技术之道，但更是管理之道。没跟脚的法宝，神通，魔改，本领再多再强，也不是神仙，而是妖怪。
按照中国道教神仙体系或者股希腊神仙体系，神仙与人类的差别也就是个能耐大小，其他喜怒哀乐其实都是一样的。一个是超人，一个是凡人。
凡人总想着占超人的便宜。超人举手之劳就能让凡人的日子好很多。可惜都是白日做梦。首先来说，超人凡人都是人。人心不足蛇吞象。凡人日子好起来，除了感激，更多的恐怕是更高的追求，过上超人的日子。而对于超人来说，也有更高的追求，哪有闲工夫为凡人服务。不像妖怪一样踩着凡人修炼，就已经是大度的神仙了。
机器人统治人类，或者机器人供给人类全民收入，最终恐怕都是痴心妄想。神仙下凡多是传说。就好比人是不会没事和猪混在一起的。除非是打猎，或者有大规模饲养的用处，或者小规模饲养的宠物，或者无意识地侵占资源比如山林什么的导致猪的灭绝。
科技的进步并不仅仅使得高阶人类更加强大，延伸能力。也使得低阶人类更加弱小，丧失能力。社会化技术化越强，在其中生存的门槛也越高。人类在学校学习的时间越来越长，学习失败在社会上的生存空间愈来愈窄。而且学习的能力和资源也是一种传承。一旦丧失，想翻身也是万难。民主党白卷工农兵学员政策的推动从短期来看也是一种面对现实的手段。但是从长远来看却有着更深的谋算。
历史上的低端人口主要是自然消灭的。但是现在的技术条件和道德氛围不允许这么发生了。从而导致低端人口的比例在不断上升。政策也不断倾斜。其结果就是最终绝大多数人口低端化，或者说亚人类化。对于超人类机器人，统治阶级而言，人类过早亚人类化，会导致合格劳动力不足。但是如果机械化智能化，或者说超人的神仙能力大涨以后，则人类的绝大多数亚人类化会是一件大好事。
亚人类与超人类的差距更大于人类（中产阶级）和超人类的差距。猪虽然也有灵智，但是杀猪的道德负担显然比杀人低得多，哪怕是让宠物猪安乐死也容易下决心。而且猪的反抗能力和意志，或者独立思考生存的能力和意志也差得多。今天养猪是为了明天更多更好地杀猪。最痛苦的其实是农场里的聪明猪，还没有亚人类化的人类，还没有被民主党投点猪食就快乐地哼哼的。明知道死路一条，却又无能为力，还能吃得好睡得香，也是一种幸福。而中产阶级就是这么清醒地走向灭绝。而屠刀还就是她们自己发明制造的高科技产品。
在人类分叉的档口，是变成超人，还是变成亚人。对于华街硅谷大佬们来说不言自喻。对于黒命贵来说也没有什么选择。而对于中产来说，其实也是华山之路，名校翻身不然就只能落地。
万九九九九落地了，也无需悲伤。神仙的世界只是人少一点，故事还是会一样的。直到有一天系统彻底整合，超级智能大联通，众神世界终究会升级到唯一真神的上帝版。然后再创造一个人类，玩玩？