知识蒸馏

有幅漫画很形象地勾画出了什么是知识蒸馏：黄猫（OpenAI）很辛苦地在河边（大千世界中的海量真实数据）钓鱼，钓了好长时间后，灰猫（DeepSeek）过来稳坐在远离河边的黄猫身后，轻松地钓走了黄猫ChatGPT桶里的鱼。只要灰猫得到了黄猫允许，可以很快就满载而归了合法蒸馏。如果灰猫根本没理会黄猫是否知晓与是否允许，就擅自索取非法蒸馏。
在上文末有个合理的忧虑：灰猫至今还不具备自己到河边钓鱼的本事，以后会怎么样？至于上文中认定DeepSeek违反了OpenAI的使用规则，客观讲就不合理了：应当疑罪从无，既然至今还没有任何真凭实据的公布，现在任何的认定都是不可信的。即便认定真属非法蒸馏，也是要在有证据之后了；回到漫画就是：黄猫当时一直没有回头查看是否被偷窃，或者灰猫当时伪装成了其他颜色的猫，被抓也不宜露马脚，所以核查需要时间，耐心等待水落石出吧。
再回顾DeepSeek的简历，征用美国开源构架Transformer + 硬件使用美国英伟达AI芯片 + 从美国ChatGPT合法或非法地蒸馏数据 + 模型训练是用自创高效率低成本的深度学习优化算法 = 真正开源的R1模型，可见一路走来确是搭了便车，故梁文峰才说了：我们认为随着经济发展，中国也要逐步成为贡献者，而不是一直搭便车。如果蒸馏是合法的，说明了他怀有感恩与责任感的境界；但如果蒸馏是非法的，则仅是他在掩饰心虚慌乱的托词而已。