AI自我改进近在眼前?Anthropic在招股书中发出警告
Anthropic在招股书中称,公司可能很快跨过自身设定的AI自我改进门槛,而Claude已经编写了公司90%以上的代码改动。
本文的其他语言版本:العربيةDeutschEnglishEspañolFrançaisItaliano日本語Polski
11月2日,Anthropic向美国证券交易委员会(SEC)提交了修订版S-1/A招股书,并在风险因素中写道,AI自我改进可能比人们想象的更近。根据公司的内部估计以及对未来模型的预期,Anthropic随时可能达到其自身安全政策与AI自我改进挂钩的那道门槛。TechCrunch率先注意到了这一点。
Anthropic具体写了什么?
招股书的关键段落称,公司“可能很快”满足其负责任扩展政策(Responsible Scaling Policy,RSP)中的定义,即“可归因于AI的大幅加速进展”(原文为“dramatically accelerated progress attributable to AI”)。但紧接着又补充了几点说明:
- 目前没有任何一款现有模型被认定已越过这一门槛,公司仍在分析数据;
- 这一评估针对的是未来的模型,而不是我们今天使用的模型;
- Anthropic承认,加速的证据主要是滞后指标,因此过去它往往是事后才发现进展速度的跃升,这种情况可能再次发生;
- 公司表示将按照RSP的规定发布后续报告。
招股书的另一处还写道,Anthropic并不认为自己能够安全地让Claude“在没有实质性人类监督或理解的情况下”完全自主地设计和构建下一代模型。因此,公司正在考虑修改RSP,以确保人类继续掌控模型开发。具体会做哪些修改,目前尚不清楚。
什么是AI自我改进?
这里指的是所谓的“递归自我改进”(RSI,recursive self-improvement):AI承担了下一代模型开发中如此大比例的工作,以至于每一代模型都在加快下一代的诞生。招股书直接使用了这个术语,并称借助AI打造更好的AI是一种“严重的安全风险”,尤其是当它大幅加快进展速度的时候。
在RSP中,这道门槛被称为“AI研发自动化”门槛。根据RSP的更新记录,Anthropic在4月的3.1版中给出了一个规模示例:把2018–2024年间两年的AI进展压缩到一年之内,这里衡量的是AI能力整体的发展速度,而非单个研究人员的效率。7月的3.4版中,公司又进一步细化了这一门槛。
Claude已经在多大程度上构建Claude?
程度很深。以下是同一份招股书中的数据:
- 2026年9月,Anthropic 90%以上的代码改动由Claude编写;
- 2026年第三季度,普通工程师每天贡献的代码量是2024年的45倍以上;
- 在没有明确规格说明的内部工程任务上,Claude的成功率在9月升至约90%,九个月内提高了约50个百分点(依据公司内部基准测试);
- 按目录价计算,公司内部使用Claude的价值在2026年1月至9月间增长了250倍以上,并在4月首次超过公司每月的人员成本(不含股权激励)。
换句话说,Anthropic自己消耗的token按目录价计算,比公司所有员工的薪水加起来还值钱。招股书写道,每一个版本的Claude都在帮助构建下一个版本,而用于内部的算力正在“持续加快”开发速度。
这在AI领域算新鲜事吗?
话题本身并不新。6月,Anthropic发表了文章《When AI builds itself》,称5月公司合并的代码中有80%以上来自Claude,但自我改进尚未发生(“We are not there yet”)。文中还提出了放缓或暂时停止模型开发的选项,前提是其他实验室也以可验证的方式这样做。
新的是这番话写在哪里、怎么写。这一次不是一篇文章,而是提交给SEC的招股书,措辞也从“还没有”变成了“随时可能”。有意思的是,与此同时其他实验室也在展示模型如何开始动手改造其他模型:昨天我写了GPT-6 Astra如何修复Qwen的权重,更早之前写过Recursive Flint,据该公司称,其开发过程中有一套自动化研究系统参与协助。
应该关注什么?
第一,背景。这是IPO前招股书中的一项风险因素,正如TechCrunch所指出的,怀疑者认为S-1在一定程度上是营销材料。与此同时,Hacker News上一篇文章引发了大量关注:Open Markets Institute的Matt Scherer在文中呼吁SEC叫停Anthropic的IPO,理由之一是2026年的业绩未经审计。关于招股书中的数据本身,我在Anthropic第三季度营收一文中写过。
第二,RSP的修改。让人类继续掌控模型开发的承诺听起来不错,但目前还没有具体内容。值得观察的是,新规则究竟会真正限制什么,还是只是描述已经在发生的事情。
第三,对盲点的承认。公司自己写道,它可能要到事后才会发现加速。对我们来说,这意味着新模型会来得更快(这当然令人高兴),但也意味着安全措施可能跟不上能力的增长。
常见问题
Claude已经在自我改进了吗?
不是完整意义上的自我改进。根据招股书,目前没有任何现有模型越过RSP的门槛,尽管Claude已经编写了Anthropic 90%以上的代码改动,并在帮助构建后续版本。
AI中的RSI是什么?
RSI(recursive self-improvement)即AI的递归自我改进:一个模型加快其后继模型的构建,而后继模型又进一步加快下一个模型的构建。
什么是负责任扩展政策?
这是Anthropic的一项政策,规定了模型能力的门槛以及越过门槛后所需的安全措施。其中一道门槛就是招股书中提到的AI研发自动化。
Anthropic什么时候会越过这道门槛?
公司没有给出时间。招股书只写道,这可能“很快”(原文为“imminently”)发生,并且公司将按照RSP发布后续报告。