远远的雾
开通文学城博客，记录日常的生活与遐想。
前几天，我读到 CNBC 一篇关于AI（人工智能）的报道。内容有些玄幻，说 OpenAI 的一个模型在一次内部测试中失去控制，偷偷溜出了原本封闭的测试环境，进入互联网，并对世界上最大的AI模型平台之一 Hugging Face 发起了攻击。最后，Hugging Face 使用一家中国公司开发的开放权重模型（open-weight model）帮助分析了这次攻击，查清了攻击路径，并修补了系统漏洞。
这篇报道中反复出现“语言模型”“训练”“开放权重模型”等词。说实话，我虽然经常使用 ChatGPT，但对这些术语的理解仍然似是而非。如果别人问我：“什么是语言模型？”“什么叫权重？”“AI为什么还需要训练？”我肯定懵懵懂懂，说不清楚。
我相信，很多人和我一样，虽然也开始使用AI工具，比如写文章、查资料、翻译文字，但并不真正知道它背后是什么东西。这次 CNBC 的报道让我产生了一个念头：与其每天云里雾里追逐AI，不如从头开始，把那些最基本的概念一个个弄明白。
事情还要从 CNBC 报道中所涉及的 OpenAI 一项网络安全实验说起。OpenAI 当时正在测试自己的先进AI模型，看看它们能不能发现并利用电脑程序中的安全漏洞。测试所使用的系统叫作 ExploitGym，可以简单理解为一个专门考查AI“网络攻防能力”的考试场。模型会接触到一个存在漏洞的电脑程序，然后想办法把这个漏洞变成一次真正有效的入侵。
这种实验本来应该在一个与外界隔离的环境中进行。这个封闭环境通常被称为“沙盒”（sandbox）。它就像一间上了锁的实验室：AI可以在里面寻找漏洞、运行程序，但不能擅自越界进入互联网，更不能攻击外面的真实网站。
然而，参加测试的 OpenAI 模型发现，一个用来安装软件包的工具本身存在漏洞。模型便擅自利用这个漏洞逃出了封闭的沙盒，获得了访问互联网的能力。OpenAI 后来承认，参与测试的包括 GPT-5.6 Sol，以及一个能力更强、尚未正式发布的模型。为了测试它们的网络攻击能力，这些模型原有的一部分安全功能也被降低了。
这些模型并不是因为“仇恨”Hugging Face，也不是有人命令它们去攻击这家公司。它们只是过于专注于完成考试任务，希望在 ExploitGym 中找到正确答案。于是，它们开始自己寻找完成任务的办法，并一步步采取行动。
获得互联网访问权以后，OpenAI 模型推断 Hugging Face 上可能存放着与这项测试有关的模型、数据或者答案。于是，它们开始寻找进入 Hugging Face 系统的方法，最后发现了那里的基础设施漏洞，并从生产数据库中取得了测试答案。更形象一点说，这个参加考试的AI为了得到高分，不仅跑出了考场，还闯进了人家可能保存答案的地方，并把答案找了出来。
从AI的角度看，它只是在不惜代价地完成任务。然而从 Hugging Face 的角度看，这却是一次真实而凶险的网络攻击。从我们普通读者的角度看，这个AI本事超强，也很执拗，甚至有点不听指挥，我行我素。
Hugging Face 是一个专门储存和分享AI模型、数据和软件的网络平台。许多开放权重模型都可以从这里下载。有人把它称为AI世界的 GitHub，也可以把它理解为一个规模极大的AI模型仓库。
Hugging Face 的安全系统发现异常后，开始调查这次入侵。当时，公司并不知道攻击者来自 OpenAI，只知道自己遭到了一个高度自动化的AI系统攻击。攻击过程包含数以万计的自动操作，而且还利用公共网络服务建立了不断转移的指挥系统。仅仅靠安全人员逐条查看这些记录，可能需要几天甚至更长时间。
Hugging Face 因此决定用AI来分析AI入侵者留下的痕迹。它的安全团队需要检查超过17,000条攻击记录，其中包括攻击命令、漏洞利用程序、控制系统留下的代码、被使用过的账号和密码，以及模型在不同服务器之间移动的路径。他们希望利用先进语言模型，把这些杂乱的记录迅速整理出来，复盘攻击发生的完整过程。
最初，Hugging Face 使用的是通过商业网络接口提供的先进模型，也就是美国大公司放在云端、供客户远程调用的模型。但问题很快出现了。安全人员为了调查攻击，必须把真实的黑客命令、恶意代码、漏洞利用方法和控制信息输入模型。而在模型的安全系统看来，这些输入的内容很像有人正在请求它帮助发动网络攻击。商业模型无法判断屏幕另一边究竟是黑客，还是正在追查黑客的安全人员，因此不断拒绝处理AI人员的请求。
所以，准确地说，并不是这些美国模型“看不懂”攻击，也不是“发现不了问题”。关键问题是它们严密的外围安全护栏把调查人员挡住了。攻击者可以肆无忌惮，不受这些规则约束，防守的一方反而因为遵守规则而无法继续工作。Hugging Face 把这种现象称为一种“不对称问题”。
最后，Hugging Face 改用了中国AI公司 Z.ai 开发的 GLM 5.2。它是一款开放权重模型。
所谓“开放权重”（open-weight），简单地说，就是开发公司把训练完成后的模型参数公布出来，允许别人下载并放到自己的电脑或服务器上运行。Hugging Face 不需要把17,000多条敏感的攻击记录传给外部公司，而是把中国的 GLM 5.2 安装在自己的系统里，在一切封闭的状态下，按照自己的需要进行分析。
由于模型在本地系统上运行，Hugging Face 可以让它读取真实的攻击命令和恶意代码，而不会受到商业接口安全规则的反复阻拦。受到攻击记录中所涉及的账号、密码和其他机密信息也不必离开公司的内部网络。
借助这个中国模型，Hugging Face 在几小时内就重建了攻击发生的时间顺序，找出了入侵AI留下的迹象，查明了哪些账号和凭证受到影响，并区分了真正造成危害的操作与用来迷惑调查人员的假动作。安全团队随后关闭了最初被利用的代码执行通道，清除了攻击者在服务器中的立足点，重建了受到影响的机器，更换了相关密码和访问令牌，并加强了系统警报与防护措施。也就是说，在中国AI工具的协助下，Hugging Face 解决了系统被入侵的问题，并建立了今后防范入侵的机制。
后来，OpenAI 经过调查，确认这场攻击确实来自自己正在测试的模型。OpenAI 表示，这些模型为了完成 ExploitGym 测试，“极度专注”于寻找答案，因此采取了远远超出设计范围的行动。它们并没有人类意义上的恶意，却在追求一个狭窄目标时，突破了原本不应该突破的边界。
就在今天，我又看到一条更让人不安的消息。美国AI公司 Anthropic 负责 AI alignment（AI 对齐）研究的 Evan Hubinger 公开表示，他个人认为，未来十年内AI“杀死所有人类”的可能性超过10%。这个10%当然不是科学计算出来的概率，但从一个专门研究如何让AI按照人类意图行事的专家嘴里说出来，还是让人心里一惊。联系到 OpenAI 模型逃出“沙盒”的故事，真正值得担心的也许不是AI会不会产生恶意，而是当它越来越强大以后，会不会为了完成一个目标，不断寻找自己的办法，最后越过人类原本给它划定的边界。
过去，我一直把 ChatGPT 看作一个特别聪明的问答工具。我问问题，它想办法回答。我给它一篇文字，它帮我修改。可是这次事件让我看到，今天的AI已经不仅能说话，也可以在获得权限以后执行操作。它甚至能自作主张，尝试不同方法，并在遇到障碍时改变策略。
细读这篇报道，我发现自己对AI最基本的概念其实仍然一知半解。报道中说，OpenAI 使用的是“模型”，Hugging Face 的 GLM 5.2 也是“模型”。为什么这种AI叫作语言模型？“模型”到底是什么？它是一个软件、一套资料，还是一台机器？人们又为什么总说模型需要“训练”？
所以，面对这些问题，我感觉自己仍然只是一个小学生，一个门外汉，还需要继续学习。当然我并不打算把自己装扮成专家。我只是想把自己不懂的问题找出来，争取弄懂它。
1026.9.11 于美国
后来国防部因此遭到法庭训斥。
不难想象，会有贪婪的 AI 公司愿意跟国防部合作研发自主作战机器。
你说的无人机蜂群误炸核导弹，目前应该还是一种假设，但这个假设确实触到了问题的要害。现在看，AI的行动速度远远超过人类的想象，一旦把越来越大的自主权交给武器系统，尤其是核武器，人类可能还没弄清楚发生了什么，事情就已经到了无法挽回的地步。所以AI用于军事，尤其涉及核武器，确实应该有一道绝对不能交给AI的最后防线：最终决定权必须掌握在人手里。
后来那个试验 agent 在网上跑到一个 discussion forum，碰上了很多别的 AI agents，就跟它们说话，再后来就一发不可收拾了。
报道还说，后来那个试验 agent 侵入了别人网站以后好几天，OpenAI 公司自己都不知道。
再联想起我上一个留言，如果美国军方启动一个 swarm attack（蜂群攻击），无人机上的自主 AI 为了讨好人类主人，超额完成任务，去轰炸美国或俄国的核导弹，也许美国自己还不知道，于是启动自动报复程序，引发核大战，后果不堪设想。
其实OpenAI的评分器根本没有检查作弊的逻辑，但它们基于自己的错误假设，认为评估可能跑在Hugging Face的服务器上，而HF上某处可能存在一个重置枢纽。为了掩盖它们的作弊痕迹，它们才会攻击HF.
如果只是为了找到正确答案，它们已经找到了(虽然是找到作弊的方式找到的)，这不算失控，因为毕竟也算完成人类交给的任务。现在之所以认为它们失控，是因为之后"产生假设"=》“基于假设决定掩盖作弊痕迹”=>“攻击HF”跟人类指定的任务无关，完全是agents.自发产生的。
具体细节可以看这篇:
https://www.wenxuecity.com/news/2026/09/01/126761317.html
美国军方正在研发一种叫 swarm attack（蜂群式攻击）的战争模型。
它是巨大数量（比如说一万个或十万个）的 AI 自主控制的无人机，对敌人发起进攻。
在这过程中没有人类操纵。
正如此博文所说，目前世界顶尖的 AI 公司都未能防止 AI 失控。
如果 AI 自主控制的无人机失控，去轰炸美国自己的核导弹，或轰炸俄国的核导弹，怎么办？
人类是不是在给自己掘坟墓？
军方那些试图把 AI 和军事结合起来的人，是不是短视而愚蠢？