ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

《生成式大模型安全测评白皮书》出炉:共筑AI安全防线,助力数字经济高质发展

时间:2024-12-31 21:02:30来源:新质动力编辑:快讯团队

在2024年的中国数据科技领域,一项重要的成果于CCF中国数据大会上正式亮相。这份名为《生成式大模型安全测评白皮书(2024)》的报告,由中国科学院智能算法安全重点实验室携手公安部第三研究所及蚂蚁集团的蚂蚁安全实验室共同编制,标志着我国在生成式大模型安全领域的深入研究与积极应对。

白皮书深入剖析了包括GPT、LLaMA、Moss、文心一言等在内的近20个主流生成式大模型的发展现状,并着重揭示了这些模型在实际应用中面临的安全风险。通过一系列实践案例,白皮书不仅指出了当前技术面临的关键挑战,还提供了有效的应对策略。报告将安全风险分为伦理风险、技术安全风险及内容安全风险三大类,并创造性地提出了指标衡量与模型攻击两种安全评估方法,以及伦理性、隐私性、事实性、鲁棒性四大安全评估维度,为相关领域的研究者、产业实践者及政策制定者提供了宝贵的参考。

蚂蚁集团自主研发的“支小宝”三重安全保障框架在白皮书中得到了特别介绍,这一框架背后是蚂蚁集团的大模型安全一体化解决方案“蚁天鉴”。该解决方案包含两大核心产品:“蚁鉴”大模型安全检测平台和“天鉴”大模型风险防御平台,分别专注于AI评测与安全防御,确保大模型在生产和应用中的安全、可控与可靠。

自ChatGPT引领的生成式大模型热潮以来,全球范围内对这类技术的关注日益升温。作为人工智能技术的新一轮革命性成果,生成式大模型正深刻改变着全球AI技术的格局,并为我国数字经济的高质量发展和智能化转型注入了强劲动力。然而,随着技术应用的日益广泛,其潜在的安全风险也逐渐暴露出来,如“大模型幻觉”事件和三星公司机密资料泄露等,这些事件凸显了生成式大模型在隐私保护、恶意滥用、技术漏洞及合规性等方面的复杂挑战。

针对这些风险,国家高度重视,并出台了一系列政策文件,如《生成式人工智能服务管理暂行办法》,明确了生成式大模型在安全性、风险防控和合规性方面的基本原则和监管要求,为技术的健康发展提供了有力的政策保障。

在白皮书的发布仪式上,来自中国科学院智能算法安全重点实验室、公安部第三研究所、蚂蚁安全实验室及浙江大学计算机学院的专家学者齐聚一堂,共同见证了这一重要时刻。智能算法安全重点实验室主任、中国科学院计算技术研究所副所长程学旗,公安部第三研究所副所长张巍,蚂蚁安全实验室首席科学家、蚂蚁集团大安全机器智能部总经理王维强,以及中国数据大会数据安全高端论坛召集人、浙江大学计算机学院院长任奎,中国科学院计算技术研究所网络数据科学与技术重点实验室主任郭嘉丰等重量级嘉宾出席了发布仪式。

王维强在仪式上表示:“我们希望通过这份白皮书,能够助力生成式大模型的安全性研究与应用推广,为构建安全、可靠、可控的人工智能生态体系提供坚实支撑,推动技术向着服务人类社会的方向健康发展。”

更多热门内容
绿地香港启动2025年度国有股权分红,17亿元红利惠及广大股东
近日,绿地香港控股有限公司宣布正式启动2025年度国有股权分红计划,总分红金额高达人民币17亿元。此次分红特别设立了专属荣誉股东(持有“同舟勋章”、“两新勋章”、“两重勋章”)专项奖励,单个荣誉股东最高可获得约人民币21万元的专项分红。从2025年5月16日起,陆续向普

2025-05-15

昆仑万维正式开源Matrix-Game:从图像出发构建可控交互世界,重塑交互式世界生成标杆
5月13日,昆仑万维正式开源(17B+)Matrix-Game大模型,即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地,也是工业界首个开源的10B+空间智能大模型,它是一个面向游戏世界建模的交互式世界基础模型,专为开放式环

2025-05-13

艾德金融:钧达股份(02865.HK)成功在港上市,为“光伏电池A+H第一股”
(2025年5月8日,香港)海南钧达新能源科技股份有限公司 Hainan Drinda New Energy Technology Co., Ltd.(简称「钧达股份」,股票代码02865.HK)成功于香港联交所主板挂牌上市。钧达股份本次全球发行6,343.23万股新股,集资总额约14.05亿港元。艾德金融担任本项目的联席牵

2025-05-08

2025年4月28日圆梦终章:泓基控股最高限度开放二级市场原始股权置换及抛售 ——泓基控股携手香港港交所释放全民持股共同富裕政策红利
在国家全民持股战略指引下,香港泓基集团(控股)有限公司(以下简称泓基控股)作为全民持股的标杆实践主体,于2025年4月28日正式启动二级市场原始股权置换流通股抛售计划,通过与香港港交所深度协作,开创性打通全民共享资本红利的通道。此举标志着全民持股政策进入实质落

2025-04-29

昆仑万维一季报亮点:营收大幅增长46%,多款大模型达到行业SOTA,AI算力芯片实现重大突破
4月29日,昆仑万维(300418.SZ)(以下简称“公司”)披露2025年第一季度业绩报告。2025年第一季度,公司实现营业收入17.6亿元,同比增长46%;全力推动AI算力芯片、大模型及应用的研发迭代工作,研发费用4.3亿元,同比增长23%。AI业务商业化落地加速。截至报告期末,AI音乐年

2025-04-29

“从遗产管理到财富传承的传家方案”研讨会召开,传家律所分享成功经验
2025年4月20日,由桂客学院、律新社主办、北京传家律师事务所承办的“从遗产管理到财富传承的传家方案”研讨会在京召开,中国老龄事业发展基金会遗嘱库项目办荣誉主任、桂客学院院长刘桂明,中国行为法学会总监事黄永维,中国政法大学法律学院院长,教授、博士生导师许

2025-04-22

SkyReels-V2开源:突破视频生成技术边界,开启无限时长电影生成新时代
4月21日,昆仑万维SkyReels团队正式发布并开源SkyReels-V2——全球首个使用扩散强迫(Diffusion-forcing)框架的无限时长电影生成模型,其通过结合多模态大语言模型(MLLM)、多阶段预训练(Multi-stage Pretraining)、强化学习(Reinforcement Learning)和扩散强迫(Diffusion

2025-04-21

元鼎智能1亿美金出售股份:创始人套现背后的战略困局
近日,元鼎智能旗下清洁机器人品牌Aiper宣布获得全球泳池设备巨头Fluidra的1亿美元战略投资。Fluidra以发行新股方式获得Aiper 27%股权,投后估值3.7亿美元。然而,这一交易因复杂的对赌条款和行业前景争议引发市场关注——创始人选择此时套现离场,究竟是顺势而为,还是

2025-04-15

喜讯!西安小巷科技传媒斩获4200万天使轮融资,打造电动车产业智慧生态新标杆
近日,西安小巷科技传媒有限公司宣布完成 4200万元天使轮融资 。此次融资不仅彰显了资本市场对公司在电动车产业链创新领域的深度认可,更标志着这家扎根西安的科技企业正式迈入高速发展新阶段。深耕电动车全链服务,构建智慧生态护城河作为国内领先的 电动车综合品牌供

2025-04-14