网易首页 > 网易号 > 正文 申请入驻

新研究揭示开源AI模型安全风险:若脱离限制运行或将被黑客劫持

0
分享至

IT之家 1 月 30 日消息,路透社 1 月 29 日援引一项最新研究称,开源大语言模型若脱离主流平台的护栏与限制,在外部计算机上运行,就可能成为黑客与犯罪分子轻易劫持的目标,带来新的安全漏洞与风险。

研究人员表示,攻击者可以直接针对运行大语言模型的主机下手,随后操控模型生成垃圾信息、编写钓鱼内容、发动虚假信息宣传,从而绕开大型平台原有的安全机制。

这项研究由 SentinelOne 与 Censys 两家网络安全公司历时 293 天联合完成,并独家提供给路透社,揭示了数千个开源大语言模型部署背后潜在的非法用途规模。研究人员称,风险场景涵盖黑客攻击、仇恨言论与骚扰、暴力血腥内容生成、个人数据窃取、诈骗与欺诈,甚至在个别情况下还涉及儿童性虐待材料。

研究人员指出,开源大语言模型变体数量庞大,互联网上可访问的运行实例中,相当一部分来自 Meta 的 Llama、谷歌 DeepMind 的 Gemma 等主流模型的衍生版本。IT之家从报道中获悉,部分开源模型自带护栏,研究仍发现数百起护栏被明确移除的情况。

SentinelOne 情报与安全研究执行主任 Juan Andres Guerrero-Saade 强调,行业对于安全控制的讨论正在“忽略一种明显存在的剩余能力”,开源算力正在被用于各种用途,其中既有合法用途,也有明显的犯罪用途。Guerrero-Saade 把这种现象比作一座尚未被行业与开源社区充分纳入视野的“冰山”。

研究团队重点分析了通过 Ollama 部署、对公众开放访问的开源大语言模型实例。Ollama 是一种工具,个人或机构可在本地运行不同模型的自有版本。

研究人员在约四分之一的观察对象中能够读取系统提示词,也就是决定模型行为的核心指令。在这些可见提示词中,7.5% 被判断可能会为有害行为提供支持。

全球人工智能治理中心 CEO 兼创始人 Rachel Adams 在邮件中表示,开放模型一旦发布,责任就不再只属于单一主体,而是生态系统共同承担,包括最初发布模型的实验室。实验室不可能对所有下游滥用负责,因为这些行为很难提前预料,但实验室仍负有重要的注意义务,需要预判可预见风险、记录危害,并提供缓解工具与指导,尤其是在全球执法能力不均衡的背景下。

声明:包含AI生成内容

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
日本称疑似两架俄飞机进入其领空 已向俄方提出抗议

日本称疑似两架俄飞机进入其领空 已向俄方提出抗议

新华社
2026-11-17 10:30:03
71年前,伟人曾大胆预测:中国最晚将会在2030年之前赶超美国

71年前,伟人曾大胆预测:中国最晚将会在2030年之前赶超美国

疯狂的小历史
2026-11-17 11:40:14
12.8亿卖掉总统,卖掉工厂,卖掉国家,两年后两发子弹穿胸而过

12.8亿卖掉总统,卖掉工厂,卖掉国家,两年后两发子弹穿胸而过

墨策讲历史
2026-08-21 19:27:44
1981年,中办突然约谈李敏,商量毛主席遗产如何分配,她淡然表态:不多索取,只要爸爸给我的那一份

1981年,中办突然约谈李敏,商量毛主席遗产如何分配,她淡然表态:不多索取,只要爸爸给我的那一份

唠叨说历史
2026-11-16 17:33:29
万斯:愿为总统“挡枪”,想怎么骂我都行!

万斯:愿为总统“挡枪”,想怎么骂我都行!

看看新闻Knews
2026-11-17 13:18:31
东盟峰会晚宴合影细节藏深意,站位安排读懂大国外交分寸

东盟峰会晚宴合影细节藏深意,站位安排读懂大国外交分寸

兰妮搞笑分享
2026-11-17 12:37:35
国家出手4位亿万富豪被抓!个个丑闻恶劣又荒唐,早该迎来这一天

国家出手4位亿万富豪被抓!个个丑闻恶劣又荒唐,早该迎来这一天

叨唠
2026-11-17 05:55:08
也门胡塞武装:控制曼德海峡的目标已经达成

也门胡塞武装:控制曼德海峡的目标已经达成

参考消息
2026-11-17 12:35:04
根据马云对未来房价预言:200万买来的房子,到2030年能值多少钱

根据马云对未来房价预言:200万买来的房子,到2030年能值多少钱

云景侃记
2026-09-08 11:29:48
李嫣大概是上天派下来的天使吧,用自己的人生照亮了无数人的路

李嫣大概是上天派下来的天使吧,用自己的人生照亮了无数人的路

娱你同欢
2026-08-19 20:42:04
外交部正式官宣,三天后,深圳将取代雅尔塔?

外交部正式官宣,三天后,深圳将取代雅尔塔?

罗富强说
2026-11-16 11:09:32
高考700分被劝学医,如今靠父母养家,同龄工科毕业50万年薪!高分学医是浪费吗?医学利他性太强,北大医学部讲师:想转行就转吧

高考700分被劝学医,如今靠父母养家,同龄工科毕业50万年薪!高分学医是浪费吗?医学利他性太强,北大医学部讲师:想转行就转吧

梅斯医学
2026-11-16 07:57:02
演员叶璇:“我从20多岁,拍完《天下第一》之后,就财务自由了”

演员叶璇:“我从20多岁,拍完《天下第一》之后,就财务自由了”

韩小娱
2026-11-15 12:17:55
看了四集《多喜一家人》,我想说:中国年代剧的大门被蒋欣踹烂了

看了四集《多喜一家人》,我想说:中国年代剧的大门被蒋欣踹烂了

青橘罐头
2026-11-17 09:53:53
一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

LULU生活家
2026-10-24 14:40:06
终于知道为什么大家都说医者不自医了,网友:扣电池的那个笑死了

终于知道为什么大家都说医者不自医了,网友:扣电池的那个笑死了

夜深爱杂谈
2026-11-11 21:58:22
西安事变过后,毛主席第一时间去劝周恩来:不要成为第二个张学良

西安事变过后,毛主席第一时间去劝周恩来:不要成为第二个张学良

凡人侃史
2026-11-16 16:11:51
日军投降前一夜有多疯狂?一个日本女军医:日军用刀劈开了一个人

日军投降前一夜有多疯狂?一个日本女军医:日军用刀劈开了一个人

小豫讲故事
2026-10-24 06:00:12
笑死,带对象回家家里人态度有多重视,网友:仇人都和好了

笑死,带对象回家家里人态度有多重视,网友:仇人都和好了

石辰搞笑日常
2026-11-17 03:35:58
焦元南:江湖人心(6/12)

焦元南:江湖人心(6/12)

金昔
2026-11-17 13:46:46
2026-11-17 15:12:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379751文章数 607735关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

顾军被公诉 通报批其大肆收钱敛财、搞权色交易

头条要闻

顾军被公诉 通报批其大肆收钱敛财、搞权色交易

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

财政部:中加双方同意探索扩大双边贸易

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

教育
游戏
时尚
手机
本地

教育要闻

draft你只当成“草稿”,高考却用它考“被征召”

《GTA6》预售销量曝逼近1500万份 超越前作首发

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

手机要闻

华为麒麟9050显示技术揭秘!普通视频也能变全彩:画质、防窥双升级

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版