ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

Skywork-MoE:昆仑万维推出的高效稀疏大模型 完全开源并免费商用

时间:2024-06-04 14:09:05来源:ITBEAR编辑:星辉

【ITBEAR科技资讯】6月4日消息,昆仑万维近日宣布,他们已成功开源了一款名为Skywork-MoE的2千亿参数稀疏大模型。这款模型凭借其强劲的性能和更低的推理成本,立即引起了业界的广泛关注。Skywork-MoE的模型权重和技术报告均被完全开源,且可免费商用。

Skywork-MoE是基于昆仑万维先前开源的Skywork-13B模型中间checkpoint进行扩展而来的。它是首个将MoE Upcycling技术全面应用并实际落地的开源千亿MoE大模型,同时也成为了首个能在单台4090服务器上实现推理的开源千亿MoE大模型。

据ITBEAR科技资讯了解,Skywork-MoE在相同的激活参数量20B(即推理计算量)下,其性能在行业中处于领先地位,甚至接近于70B的Dense模型。这一突出表现使得Skywork-MoE的推理成本降低了近三倍。与此同时,与DeepSeekV2相比,Skywork-MoE的总参数规模还要小1/3,但它却能用更小的参数规模实现相近的性能。

昆仑万维对此次开源的Skywork-MoE模型寄予厚望。他们希望,通过开源模型、技术报告和相关的实验结果,能为开源社区贡献更多的MoE训练经验和专业知识,涵盖模型结构、超参数选择、训练技巧以及训练推理加速等各个方面。他们的目标是探索如何用更低的训练推理成本来训练出更大、更强的模型,从而为通往AGI(通用人工智能)的道路贡献一份力量。

更多热门内容