小型语言模型大比拼！英伟达新款8B模型能称王？

【ITBEAR】8月23日消息，英伟达近日在其官方博文中宣布，已于8月21日正式发布了Mistral-NeMo-Minitron 8B小型语言AI模型。这款模型凭借其卓越的精度和高效的计算能力，特别适用于配备GPU加速的数据中心、云环境以及工作站上运行。

继上月与Mistral AI联合发布开源的Mistral NeMo 12B模型后，英伟达再次推出这款规模更小的Mistral-NeMo-Minitron 8B模型。该模型拥有80亿个参数，并能够在搭载英伟达RTX系列显卡的工作站上流畅运行，为用户带来更加便捷高效的体验。

据ITBEAR了解，英伟达通过采用宽度剪枝技术对Mistral NeMo 12B模型进行优化，并结合知识蒸馏方法进行轻度的重新训练，最终成功获得了这款Mistral-NeMo-Minitron 8B模型。这一研究成果已在《Compact Language Models via Pruning and Knowledge Distillation》论文中发表。

宽度剪枝技术通过去除对模型准确率贡献最小的权重，有效缩小了神经网络的规模。而在“蒸馏”过程中，研究团队在一个小型数据集上对剪枝后的模型进行重新训练，显著提升了因剪枝而降低的准确率。

在规模上，Mistral-NeMo-Minitron 8B模型在语言模型的九项流行基准测试中表现出色，遥遥领先于其他同类模型。这些基准测试涵盖了语言理解、常识推理、数学推理、总结、编码以及生成真实答案等多种任务，充分展示了该模型在多个领域的卓越性能。