小模型成新宠？微软、英伟达齐押注，大模型失宠了？

【ITBEAR】8月26日消息，AI新趋势：小型语言模型挑战大型模型主导地位

在人工智能领域，一场关于模型规模的变革正在悄然发生。以往，各大科技巨头纷纷追求构建庞大的语言模型，但如今，小型语言模型（SLM）正以其独特的优势，对“规模决定一切”的传统观念发起挑战。

据ITBEAR了解，近期，微软和英伟达分别推出了Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B两款小型语言模型。它们凭借在计算资源使用和性能表现之间的出色平衡，迅速成为市场的新宠。

人工智能初创公司Hugging Face的首席执行官Clem Delangue大胆预测，2024年将是SLM的崛起之年。这一预测并非空穴来风，数据显示，包括meta、微软、谷歌在内的科技巨头今年已经发布了9款小型模型。

大型语言模型面临的挑战与SLM的崛起密切相关。AI初创公司Vellum和Hugging Face的性能比较研究显示，大型模型之间的性能差距正在迅速缩小，尤其在特定任务中，顶级模型之间的差异几乎可以忽略不计。

然而，与有限的性能提升相比，大型语言模型的训练成本却持续攀升。海量数据和数以亿计甚至万亿个参数导致了极高的资源消耗。训练和运行大型语言模型所需的计算能力和能源消耗惊人，使得小型组织或个人难以参与核心大型语言模型的开发。

相比之下，SLM作为大型语言模型的精简版本，具有更少的参数和更简单的设计。它们需要更少的数据和训练时间，因此更加高效，也更容易在小型设备上部署。此外，SLM针对特定应用的专业化使它们在实际应用中更加高效。

SLM在特定领域内也不易出现“幻觉”，因为它们通常在更窄、更有针对性的数据集上训练，这有助于模型学习与其任务最相关的模式和信息。

尽管SLM的专业化是一大优势，但也存在局限性。这些模型可能在其特定训练领域之外表现不佳，缺乏广泛的知识库。这一限制要求用户可能需要部署多个SLM来覆盖不同的需求领域，从而增加了AI基础设施的复杂性。

然而，随着AI领域的快速发展，小型模型的标准也可能会不断变化。东京小型模型初创公司Sakana的联合创始人兼首席执行官David Ha表示，“大小总是相对的。”

在这场AI的规模较量中，SLM正以其独特的优势逐渐崭露头角。它们不仅降低了开发和部署的成本，也为商业客户提供了更经济的解决方案。随着技术的不断进步，我们有理由相信，SLM将在未来的AI领域扮演越来越重要的角色。

对于这场AI领域的新变革，你持何种看法？是否看好SLM的发展前景？欢迎留言讨论，分享你的观点。