OpenAI的GPT-5项目,代号Orion,正面临前所未有的挑战。尽管该项目已经历超过18个月的密集研发,进行了至少两次耗时数月的大型数据训练,但取得的成果仍未充分证明其高昂成本的价值。
据知情人士透露,Orion的每次大型训练都旨在提升其智能水平,但结果却屡屡未能达到研究人员的预期。这些训练不仅耗时巨大,而且成本惊人,每次六个月的训练周期可能需要花费约5亿美元。这样的投入让人们对GPT-5的未来产生了质疑。
OpenAI内部也面临着动荡。公司不仅要应对研发过程中的技术难题,还要应对竞争对手不断挖角的问题。一些顶尖的研究人员被竞争对手以数百万美元的报酬吸引,使得OpenAI的人才流失问题日益严重。
然而,在Orion项目的挣扎中,OpenAI的研究人员却找到了一种让大型语言模型(LLM)变得更聪明的新方法——推理。他们发现,通过让LLM花费更长时间进行“思考”,可以解决一些未经训练的困难问题。这一发现为Orion项目的未来带来了新的希望。
然而,即使有了这一新发现,Orion项目的进展仍然缓慢。据《华尔街日报》报道,OpenAI的新人工智能项目进度滞后,费用巨大。目前尚不清楚何时能够成功,甚至是否能够成功。一些专家表示,世界上可能没有足够的数据来使Orion变得足够智能。
Orion项目的正式名称为GPT-5,旨在成为推动ChatGPT技术的重大进步。OpenAI的最亲密合作伙伴和最大投资者微软原本预计在2024年中期看到新模型的亮相。然而,随着项目的不断推迟和成本的持续攀升,微软的期望也受到了打击。
尽管如此,OpenAI及其大胆的首席执行官山姆·奥特曼仍然对GPT-5的未来充满信心。他们在两年前推出ChatGPT时震动了硅谷,并承诺将不断展现出戏剧性的进步。然而,随着竞争对手的崛起和内部问题的加剧,OpenAI面临着前所未有的压力。
为了应对这些挑战,OpenAI开始从零开始创建数据,以增强Orion的性能。他们招聘人员为Orion编写新的软件代码或解决数学问题以供学习,并与Orion分享他们工作的解释。这种方法虽然缓慢,但被认为可以提高数据的多样性和质量。
然而,即使有了这些努力,Orion仍然面临着巨大的挑战。随着竞争对手的迎头赶上和内部资源的争夺,OpenAI开始开发其他项目和应用程序以分散风险。然而,这并没有解决Orion项目本身的问题。
在Orion的挣扎中,OpenAI的研究人员开始探索推理模型的新方法。他们发现,通过让模型花费更长时间进行思考和分析,可以解决一些未经训练的困难问题。这一发现为Orion项目的未来提供了新的方向。
然而,推理模型的成本也非常高昂。OpenAI现在需要为单个查询生成多个答案,并进行分析以找到最佳答案。这增加了额外的计算成本和时间成本。
尽管如此,OpenAI的研究人员仍然对推理模型充满信心。他们认为,通过结合推理和更多的数据,可以构建出更先进和高效的LLM。这将为Orion项目的未来奠定坚实的基础。
随着Orion项目的继续推进,OpenAI面临着前所未有的挑战和机遇。他们能否克服这些挑战并成功推出GPT-5仍然是一个未知数。然而,无论结果如何,OpenAI在人工智能领域的研究和探索都将为未来的技术发展奠定重要的基础。