百度或先于OpenAI发现AI大模型“金科玉律”Scaling Law？

近期，关于人工智能大模型核心理论“Scaling Law”的起源，在外网上引发了一场热烈讨论。有最新观点指出，中国科技巨头百度可能在OpenAI之前就已经实现了这一重大突破。

据《南华早报》报道，虽然美国在AI模型创新方面一直占据领先地位，但最新的讨论揭示，中国在探索这些前沿概念上可能更为领先。《百度在OpenAI之前就发现了Scaling Law？AI领域的辩论重新燃起》一文，详细探讨了这一话题。

Scaling Law，作为大模型发展的核心原则，认为模型的智能能力会随着训练数据和模型参数的增加而增强。这一理论被广泛归功于OpenAI在2020年发表的论文《Scaling Laws for Neural Language Models》。然而，这一观点近日受到了挑战。

OpenAI论文的合著者、前研究副总裁、Anthropic创始人Dario Amodei，在最近的一次播客中透露，他早在2014年与吴恩达在百度研究AI时，就已经非正式地观察到了Scaling Law现象。他表示，随着数据量的增加、模型规模的扩大以及训练时间的延长，模型的性能显著提升。这一观察后来在OpenAI的GPT-1语言模型中得到了验证。

不仅如此，行业人士还指出，关于Scaling Law的原始研究实际上来自百度2017年发表的一篇论文，而非OpenAI的2020年研究。meta研究员、康奈尔大学博士候选人Jack Morris在社交媒体上引用了一篇由百度硅谷人工智能实验室于2017年发布的论文《Deep Learning Scaling is Predictable, Empirically》。该论文详细讨论了机器翻译、语言建模等领域的Scaling现象。

然而，这篇论文的重要性在过去并未得到充分的重视。OpenAI在2020年的研究中，虽然引用了百度研究人员在2019年发表的论文《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》，但却忽略了2017年的研究。批评者认为，2017年的研究才是Scaling Law概念的真正起源。

有研究者表示，百度的早期研究为AI大模型的发展奠定了坚实的理论基础。事实上，百度在2019年就发布了第一代文心大模型，几乎与OpenAI处于同一时期。据《南华早报》报道，在上海举行的百度世界大会2024上，百度宣布了新技术，用以减轻图像生成中的幻觉问题，即生成误导性或事实不一致的图像。同时，百度还透露，截至11月初，百度文心大模型的日均调用量已经达到了15亿，相比一年前首次披露的5000万次，增长了约30倍。

这些进展不仅表明中国在大型模型方面取得了显著进步，也获得了国际社会的广泛认可。随着AI技术的不断发展和应用的深入，中国在全球AI领域的影响力和领导地位将更加突出。