ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

小米MiMo大模型横空出世!7B参数挑战AI巨头,推理能力惊艳业界

时间:2025-04-30 12:12:00来源:华尔街见闻编辑:快讯团队

在人工智能领域的激烈竞争中,小米公司近期宣布正式加入战局,推出了一款专注于推理能力的开源大模型——MiMo。这款模型在4月30日一经发布,便以其卓越的表现在数学推理和代码竞赛测评中脱颖而出。

小米透露,MiMo的核心研发理念在于激发模型的推理潜能。为了实现这一目标,小米团队在预训练和后训练两个阶段均进行了全面且深入的创新。MiMo不仅在参数规模上相对较小,仅有7B,但却在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)的公开测评中,超越了OpenAI的闭源模型o1-mini以及阿里32B规模的QwQ模型。

尤为MiMo在相同强化学习训练数据的条件下,展现出了显著的领先优势。在数学和代码领域,其表现明显优于DeepSeek-R1-Distill-7B和Qwen2.5-32B等知名强化学习起步模型。这一成就不仅证明了MiMo的推理能力,也彰显了小米在AI技术研发上的深厚实力。

小米团队在MiMo的研发过程中,采用了预训练和后训练双轮驱动的策略。在预训练阶段,他们挖掘了大量富含推理模式的语料,并合成了约200B tokens的推理数据。通过三阶段策略逐步提升训练难度,累计训练了25T tokens,这一训练量在同等规模模型中堪称领先。

而在后训练阶段,小米团队的创新更为关键。他们提出了“测试难度驱动奖励”机制,有效解决了困难算法问题中奖励稀疏的难题。同时,通过引入“简单数据重采样”策略,显著提升了强化学习训练的稳定性。在框架层面,小米团队设计了“无缝推出”系统,使得强化学习训练速度和验证速度分别提升了2.29倍和1.96倍。

除了技术上的创新,小米在AI领域的全面投入也备受瞩目。据相关报道,小米正在积极搭建自己的GPU万卡级集群,以大力投入AI大模型的研发。这一计划已经实施数月之久,并由小米创始人雷军亲自参与领导。小米方面强调,在AI硬件的发展上,手机是最为核心的设备,小米在这个领域必须全力以赴。

小米在AI人才布局方面也在加速推进。据悉,DeepSeek开源大模型DeepSeek-V2的关键开发者之一罗福莉将加入小米,或供职于小米AI实验室,领导小米大模型团队。罗福莉作为MLA技术的核心开发者之一,在降低大模型使用成本方面有着丰富的经验和卓越的贡献。

更多热门内容