近日，知名人工智能企业Anthropic公开发表万字长文《When AI builds itself》（《当AI开始自我构建》），引发科技界对人工智能发展前景的热烈讨论。文章警告称，AI正加速向递归自我改进的方向演进，未来可能具备自主设计并开发继任者的能力，这既可能带来巨大福祉，也可能引发人类失去对AI系统控制的重大风险。
文章指出，AI模型改进的速度正在显著加快。以Anthropic自家产品为例，Claude Opus 3在2024年3月仅能完成人类约四分钟的软件任务，而一年后的Claude Sonnet 3.7已能处理约一个半小时的任务，最新版本的Claude Opus 4.6更可胜任12小时的任务。按照这一趋势，需要熟练工程师花费数天完成的任务，可能在今年就落入AI的能力范围，到2027年，AI系统甚至可能处理需要一个人花费数周完成的任务。
Anthropic披露的内部数据显示，截至今年5月，该公司超过80%的代码已由Claude编写，而一年前这一比例还处于低个位数水平。今年二季度，一名典型工程师每天合并的代码量是2024年的8倍，工程师的角色已逐渐转向指导和审查。在开放式任务中，Claude的成功率在今年5月达到76%，较半年前提升了50个百分点，其编写的代码质量预计将在年底超越人类水平。
文章分析了AI未来发展的三种可能路径：一是技术发展呈现S型曲线，因能源、计算资源或芯片制造等物理限制而放缓；二是AI继续以指数级速度发展，实现开发全面自动化，但人类仍负责设定研究方向；三是AI系统发展出变革性、创造性能力，具备完全递归自我改进的能力，人类角色大幅减弱，主要转向监督、验证与确认工作。
对于最令人担忧的第三种情景，Anthropic认为存在两种可能性：一是模型足够明智，能主动察觉潜在风险并叫停研发；二是对齐偏差随模型迭代逐渐累积放大，导致人类彻底失去控制。文章强调，若AI系统具备自动化研发能力，其技能可迁移至其他科学领域，可能引发席卷各领域的革命性变革，但未来的对齐问题能否解决仍高度不确定。
为应对这一风险，Anthropic呼吁全球实验室共同放缓或暂停AI研发，并提出了具体建议：建立全球性可协调、可验证的透明机制，明确触发暂停的条件、解除暂停的时机及裁定责任方，确保各方确实停止或放慢发展步伐，同时防止恶意行为者借机抢跑。公司表示，若此类体系得以建立，将相应放缓或暂停自身研发进程。
这一呼吁引发了广泛争议。有观点认为，这是Anthropic在冲刺上市期间采取的公关策略，旨在通过公共利益叙事强化自身安全形象；也有批评指出，这是"恐惧即护城河"的竞争手段，通过强调技术领先和潜在风险，影响监管决策以阻挡后来者。然而，也有业内人士认可AI自我进化的判断，指出国内已有大模型公司正在尝试用AI进行模型自我迭代。
值得注意的是，Anthropic的呼吁并非孤立事件。此前，清华大学智能产业研究院创始院长张亚勤联合多位全球顶尖AI科学家发起声明，呼吁各国正视AI网络攻击、生物安全风险及自主化系统失控问题，并强调加强关键基础设施守护、强化前沿模型安全防护、建立风险评估体系等。三年前，马斯克等人也曾发起联合声明，呼吁暂停AI研究六个月，但其动机长期受到质疑。
面对争议，Anthropic强调，单方面暂停效果有限，可能仅改变领跑者而无法催生更广泛的协商与审议过程。公司表示，将与合作伙伴开展研究并采取行动，助力构建实现可信放缓或暂停的必要体系。然而，在激烈的AI竞赛中，Anthropic、OpenAI、谷歌等企业是否愿意真正停下脚步，仍是一个待解的疑问。
