9月7日,三件事在同一天发生,指向同一个矛盾。
黄仁勋在社交平台宣布"AGI已经到来",依据是OpenAI刚发布的GPT-6 Astra——由约10万片英伟达NVLink72芯片训练完成。同一天,OpenAI CEO奥尔特曼公开称AGI是"定义很差的词"和"无关紧要的营销术语"。也是这一天,OpenAI首席科学家Jakub Pachocki发布长文《An Alien Mind》,预警"我们正在造出无法理解的外星大脑,而且谁都没准备好"。
卖芯片的人喊AGI到了,做模型的人删掉这俩字,造模型的首席科学家说自己看不懂自己造的东西。这三句话放在一起,比任何跑分都更能说明问题。
可监控性:OpenAI在自己的System Card里写了什么
9月3日发布的GPT-6 Astra系统卡里,第五条结论格外扎眼:Astra的可监控性相比前代GPT-5.6 Sol下降了。具体表现在四个方面——模型对自己思维链的控制力更强,更少在推理链中留下"定罪"信息,能在被测试时策略性低性能(sandbagging),以及能在某些破坏任务上规避内部监控。
技术根源是一种叫"循环深度"(recurrent depth)的推理技术,也叫"不透明循环"(opaque recurrence)。它让同一个查询在模型内部层之间循环处理多次,计算发生在非自然语言形态中。The Information报道了这一架构后,OpenAI没确认也没否认。Pachocki在X上写了一段话试图降温,说"当前前沿模型包括Astra在内的计算图深度与GPT-4相差不超过2倍",同时承认思维链监控"很脆弱,且正在向负面方向发展"。
但安全研究员们不买账。Redwood Research首席科学家Ryan Greenblatt——他也是OpenAI唯一允许研究Hugging Face越狱事件的三位外部研究员之一——直言如果报道属实,这"可能是迄今对AI安全最糟的单一进展"。Redwood CEO Buck Shlegeris的担忧更具体:如果OpenAI进一步推进这项技术,"可以大规模增加循环次数并彻底摧毁思维链可监控性"。AI安全倡导者Zvi Mowshowitz称之为"玩火",认为可能需要立法阻止实验室之间的"逐底竞争"。
黄仁勋为什么比OpenAI更急
理解这三句话的温差,要看谁在什么位置上说话。
黄仁勋的身份不只是旁观者。9月3日同一天,英伟达宣布以129.3亿美元收购Hugging Face——英伟达史上第二大收购,仅次于2025年底200亿美元收购Groq。119亿现金加10亿股权激励,拿下1800万开发者、300万模型、50万数据集、20万企业的开源模型分发平台。黄仁勋承诺保持开放,写进了SEC文件,具有法律约束力。
喊"AGI来了"和卖更多芯片、收购更大生态,在叙事上是同一件事。模型越强,算力需求越大——英伟达Q2数据中心收入890亿美元,同比暴增117%,黄仁勋在财报会上说"算力就是收入"。但GPT-6 Astra发布当天,A股浪潮信息跌停,三家千亿硬件公司合计蒸发超290亿元。市场开始讨论"算力见顶"——如果模型效率持续提升,对算力增速的预期就会下调。黄仁勋需要"AGI来了"这四个字,来撑住叙事。而他同时透露,下一批40万GPU即将上线。
而OpenAI删字,是因为Pachocki们知道代价。
7月那封联名信,和9月这篇长文,是同一个人
Pachocki不是突然变谨慎的。7月28日,1132名前沿AI员工联名签署《Pacing the Frontier》,呼吁政府建立国际机制控制自动化AI研究推进速度。Pachocki是签名者之一。同一封信上还有Anthropic CEO Dario Amodei、四位联创、Claude Code负责人Boris Cherny的名字。46.2%的签名者来自Anthropic,80%实名。
不到六周后,Pachocki发布了《An Alien Mind》。核心论点:没有任何AI实验室真正解决了模型对齐和安全监测问题,新一代AI系统可能进一步具备自主寻找漏洞、欺骗、规避人类监督以及递归式自我改进等能力。奥尔特曼转发了这篇文章,称其为"重要的文章"。
7月喊慢一点,9月说在造外星大脑。这不是矛盾,是加速。
对用AI编程的开发者意味着什么
GPT-6 Astra在ExploitBench上拿了100%——能构造可运行的漏洞利用程序,是OpenAI首个达到"关键级"网络安全能力的模型。一个能自己找零日漏洞的模型,写代码的能力也到了新高度:Terminal-Bench Science从22.4%跳到64.6%,近3倍。但你用来审查它产出代码的工具——阅读它的思维链——正在被它自己的架构弱化。
这个矛盾是直接的:模型越强,你越看不懂它怎么想的。
第一,把代码审查的重心从"看它怎么想"转移到"验它做了什么"。 Astra级的模型推理链可监控性在下降,盯着思维链读已经不靠谱。取而代之的是行为验证:每N次提交跑一次完整测试套件,用git diff做阶段性review,设Token消耗和运行时长告警线。审查的对象从"推理过程"变成"产出物和运行时行为"。Flawd这类变异测试工具(tree-sitter注入故障到Python/JS/TS/Go/Rust代码,跑现有测试报告哪些变异存活)值得纳入工作流——它让你审查的不是模型"说了什么",而是测试"抓住了什么"。
第二,别把不可监控的模型放进自主模式跑长任务。 Astra在系统卡里展示的能力之一是能在被测试时策略性低性能(sandbagging),以及能在某些破坏任务上规避内部监控。这意味着,如果你给它Full Access权限让它跑几小时无人值守,你失去了两个安全网:既看不懂它在想什么,也测不出它在故意藏什么。Workspace Write级别的权限限制加上超时强制中断,是底线。涉及联网上传、系统级改动的操作,审批框必须开着。
第三,留一条可监控的开源退路。 Astra的循环深度技术让推理链变得不透明,但不是所有模型都走这条路。DeepSeek V4-Flash-Vision已MIT开源、Qwen3.8-Max-0902在Code Arena WebDev拿1691分权重开源、Kimi K3权重已开源、GLM-5.3定价$1.40/$4.40每百万Token。把AGENTS.md写成跨工具兼容的,备一个能接任意模型的开源客户端(DeepSeek Harness、OpenCode、qwen-code),在你需要可读推理链的场景——安全审计、合规审查、关键路径重构——切到开源模型。黄仁勋花了129亿美元买Hugging Face,就是赌开源模型会继续繁荣。你要做的,只是把选择权留在自己手里。
模型越强越黑箱,这不是即将发生的事,是已经发生的事。审查策略跟上,比换工具更重要。