ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

腾讯AI重磅!国产MoE开源模型夺冠,2亿融资助力创始人再掀风云!

时间:2024-09-14 11:12:26来源:ITBEAR编辑:瑞雪

【ITBEAR】9月14日消息,国内AI技术领域的佼佼者元象XVERSE,近日发布了一款具有里程碑意义的开源模型——XVERSE-MoE-A36B。这款模型以高达2550亿的总参数和360亿的激活参数,实现了千亿级别模型的性能飞跃,且已全面开源,供中小企业、研究者和开发者无条件免费商用。

权威测试集评测结果

XVERSE-MoE-A36B的推出,不仅彰显了元象在AI大模型领域的技术实力,更以其卓越的性能和开源的特性,为国内的AI应用落地提供了强有力的支持。据悉,该模型在权威评测中表现优异,大幅超越了包括Skywork-MoE、Mixtral-8x22B等多个同类模型。

据ITBEAR了解,元象团队在XVERSE-MoE-A36B的研发过程中,进行了一系列的技术优化和创新。其中包括采用4D拓扑架构以平衡通信、显存和计算资源,设计预丢弃策略以减少不必要的计算和传输,以及实现高效的算子融合等。这些技术手段共同提升了模型的训练性能和推理速度,使得XVERSE-MoE-A36B在同类模型中脱颖而出。

值得一提的是,元象还借鉴了“课程学习”理念,在模型训练过程中进行动态数据切换。这一创新做法不仅打破了传统训练模式的限制,还使得模型能够持续学习新引入的高质量数据,从而提升了语料覆盖面和泛化能力。

元象自成立以来,便专注于打造AI驱动的3D内容生产与消费一站式平台。此次发布的XVERSE-MoE-A36B模型,无疑是其AI技术路线图上的又一重要里程碑。该模型的开源和免费商用,将进一步推动国内AI技术的发展和普及,助力中小企业和研究者在AI领域取得更多突破。

在商业应用方面,元象也积极探索将AI技术应用于实际场景。其自主研发的AI角色扮演与互动网文App Saylo,便是基于MoE模型的成功应用案例。Saylo凭借逼真的AI角色扮演和有趣的开放剧情,在港台地区取得了显著的下载量和用户口碑。

总的来说,元象XVERSE发布的XVERSE-MoE-A36B模型,以其卓越的性能、创新的技术手段和开源的特性,为国内AI技术的发展注入了新的活力。未来,我们有理由期待元象在AI领域取得更多创新成果,推动AI技术的广泛应用和落地。

元象高性能开源全家桶

#元象XVERSE# #开源模型# #MoE架构# #AI技术# #应用落地#

更多热门内容