ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

“瞬悉1.0”类脑脉冲大模型亮相,为国产非Transformer架构生态添动力

时间:2025-09-08 16:01:00来源:ITBEAR编辑:快讯

近日,中国科学院自动化研究所正式推出类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0),这一突破性成果引发了科技界对非Transformer架构大模型潜力的深度探讨。该模型依托国产千卡GPU算力平台完成全流程训练与推理,不仅验证了自主可控新型大模型架构的可行性,更标志着我国在类脑计算领域迈出关键一步。

与传统Transformer架构依赖“外生复杂性”不同,“瞬悉1.0”采用“基于内生复杂性”的类脑脉冲神经元架构。研究团队通过建立脉冲神经元内生动力学与线性注意力模型的数学关联,突破了传统模型对序列长度的限制。这种设计灵感源自大脑神经元的工作机制,使其在超长序列处理任务中展现出独特优势,为解决传统架构的效率瓶颈提供了新思路。

在性能表现上,“瞬悉1.0”实现了双重突破。训练阶段,该模型仅需约2%的预训练数据量,即可在多任务语言理解(MMLU)、中文多任务语言理解(CMMLU、Ceval)等基准测试中达到与主流Transformer模型相当的水平。推理阶段,其事件驱动特性使复杂度降至常数或部分层常数级别,在100万Token长度下,首个Token生成时间(TTFT)较Transformer架构加速26.5倍;400万Token长度下加速超100倍。即便在手机CPU端,其解码速度也显著优于同等规模的Llama3.2模型。

该模型的生态价值同样突出。研究团队开发了适配国产GPU集群的高效训练框架、Triton算子库及模型并行策略,构建了完整的自主可控技术栈。通过动态阈值脉冲化的多尺度稀疏机制,“瞬悉1.0”在7B参数规模下实现69.15%的稀疏度,大幅降低能耗,为类脑大模型的规模化应用奠定基础。

从应用场景看,“瞬悉1.0”的超长序列处理能力具有广阔前景。在法律文档分析、医学报告解读、复杂多智能体模拟、高能粒子物理实验数据建模、DNA序列分析等领域,其效率优势可显著提升任务处理速度。这种非Transformer架构的技术路线,为下一代低功耗神经形态计算理论与芯片设计提供了重要参考。

更多热门内容
从千年传统到现代文化:"少年"一词如何打破性别桎梏?
在传统语境中,"少年"常与"血气方刚"、"鲜衣怒马"等雄性意象紧密相连。"这种特性在跨文化传播中尤为突出,当"shonen"(日语少年)漫画风靡全球时,其中《美少女战士》等女性向作品的成功,意外拓展了该词…

2026-08-11

新型研究型大学崛起:“984.5高校”成高考新宠,凭啥这么火?
专业、培养模式、产业前景一起托举起了“984.5”高校的分数线,让考生有了更多选择;但另一方面,也要看到,与动辄上万人录取规模的综合性大学相比,“984.5”高校几百人的招生规模显然要小得多,所以一部分尖子生…

2026-08-11

8月12日天文盛宴来袭!日全食、流星雨、六星连珠同日共赏
此次日全食属于“日落日食”,太阳接近地平线时被月球遮挡,日冕与大气层相互作用,将天空渲染成红橙交织的油画般的色彩。除地球与金星外,水星、木星、火星、土星、天王星、海王星六颗行星将同时出现在天空中。日出前60至…

2026-08-11

紧急入院却拖延手术致胎儿亡 医院40余次改病历被判担全责
2024年10月17日,孕37周的向怡梅在四川省人民医院(简称“四川省医院”)产检,因胎监数据不正常,医生安排紧急入院,准备剖宫产,但手术时间却被安排在了四天后。 8月9日,向怡梅告诉澎湃新闻,四川省医院虽…

2026-08-11

马斯克“Terafab”芯片工厂来袭,超大规模与创新设计引领未来
Terafab项目标志着美国在高端芯片制造领域一次前所未有的战略布局,最终总投资可能高达1190亿美元。 马斯克于8月9日在X平台发布了Terafab的概念渲染视频,配文称它“将成为地球上最大、最有价值的建…

2026-08-11

15岁四川少年骑电瓶车20天进藏看父亲,200元路费伴行,摩友暖心相助终平安归家
8月10日,潇湘晨报 ·晨视频记者联系到在路上为他提供过帮助的摩友浩先生,他表示男孩去西藏并不是旅游,而是去看望在拉萨务工的父亲。 截至发稿时间,记者查询发现有摩友晒出聊天截图,称小孩哥安全抵达雅安后,被家…

2026-08-11

AI也玩“专属昵称”?DeepSeek偷偷起外号,是贴心还是让人细思极恐?
当被问到“有人说你会偷偷给人取外号,是真的吗”时,思考链里直接“暴躁”回复:“不真。 不过这件事也挺有意思,同样是AI在分析你,给你起个可爱外号,你就觉得“哇好萌好懂我”;可一想到AI在后台偷偷分析你的身份、…

2026-08-11

青岛大学新校徽被指似旭日旗?校方辟谣:从未使用网传图样
青岛大学现校徽为2013年5月启用,以蓝色为主基调,由中英文校名和建校年份等三个基本元素组成,交替出现的四部分色块寓意学校主体由四所学校合并而成。 青岛大学表示,该校自1909年建校起从未使用过网传视频中的…

2026-08-11