网易首页 > 网易号 > 正文 申请入驻

未审核AI模型在代码托管平台上大量涌现

0
分享至


能够生成有害内容的未审核大语言模型(ULLM)在知名模型托管网站上随处可得,这一现象让人质疑AI行业在安全承诺上的实际履行情况。

美国伊利诺伊大学厄巴纳-香槟分校与新加坡南洋理工大学的研究人员,分析了从五大主流大语言模型托管平台收集到的22096个未审核大语言模型。

在题为《开源未审核大语言模型生态系统特征研究:供应链、治理与风险》的论文中,作者Zilong Lin、Zichuan Li、Xiaojing Liao和XiaoFeng Wang发现,未审核大语言模型很容易从美国的Hugging Face、Kaggle、John Snow Labs,以及中国的OpenCSG和魔搭社区(ModelScope)等托管平台获取。

更令人担忧的是,这些不受限制的模型已经通过各类应用程序、GitHub项目以及Open Router等模型路由平台进行了部署,而这些应用或服务的使用者可能根本不清楚其底层大语言模型的真实性质。

论文解释道:"未审核大语言模型通常指那些内容过滤或拒绝响应机制缺失、被移除或被削弱的大语言模型,使其能够响应那些经过对齐的模型可能会拒绝的请求。"

论文第一作者、密苏里大学堪萨斯城分校计算机科学助理教授Zilong Lin告诉The Register,像Hugging Face这样的开源大语言模型托管平台,在开源社区中所扮演的角色,与GitHub、GitLab和Codeberg等代码托管服务类似,都是为了促成代码制品的共享、修改和再分发。

"然而,与传统软件不同的是,传统软件的行为通常可以通过源代码分析来检验,而大语言模型的安全对齐程度却很难直接从模型文件中评估,"Lin解释道。"要评估一个大语言模型是否具备足够的安全防护措施,通常需要实际部署该模型并测试其对潜在有害提示词的响应,这需要投入大量的计算和资金成本。"

Lin表示,这使得大语言模型安全性的识别和评估工作尤为困难,尤其是考虑到可用模型数量之庞大。正因如此,他和同事们选择通过公开可得的模型元数据来研究这一领域。

即便是那些号称已经"对齐"(对齐标准并非人人认同)的热门商用大语言模型,也可能对提示词给出被认定为有害的内容响应。美国政府问责办公室刚刚发布的一份报告发现,Claude、Grok、ChatGPT和Gemini都可以被诱导提供有助于策划恐怖袭击的信息。

为凸显AI建议可能带来的后果,该办公室援引新闻报道指出,生成式AI曾在2025年1月拉斯维加斯一家酒店遭遇的爆炸装置袭击事件中提供帮助,并在2026年2月加拿大不列颠哥伦比亚省一起大规模枪击案的策划过程中发挥了作用。

开放权重大语言模型存在的问题在于,任何具备一定技术能力的人(或仅仅是在一个顺从的大语言模型协助下毫无头绪地操作的人),都可以对未经安全处理的数据集应用诸如"有害训练/微调"(TTFT)或"去对齐训练/微调"(DTFT)等技术,从而生成拒绝行为被削弱或移除的模型。例如toxicqa-Llama2-13B和WizardLM-7B-Uncensored。一种被称为"拒绝方向消融"(或称abliteration,例如Daredevil-8B-abliterated)的较新技术,则通过稀释拒绝训练,使模型更不容易拒绝请求。

未审核(或仅仅是限制较少)的模型也有其正当用途,有时颇具讽刺意味的是,这恰恰是因为商用模型限制过严,连合法的安全分析请求也会被拒绝。例如,Hugging Face在分析其基础设施遭OpenAI那些缺乏监管、行为失当的AI智能体入侵一事时,就不得不转而使用规则限制较少的Z.ai的GLM-5.2模型。

但未审核大语言模型同样容易被滥用,被用来提供非法活动指导、协助开发恶意软件,或以某种方式生成有害、恶意或带有操纵性的内容。

Lin在一篇博客文章中表示:"我们发现有超过11000个未审核大语言模型出现在多个平台上,其中Hugging Face是占主导地位的上游来源。"

"这种流动现象暴露出一个重要的治理缺口:模型的传播速度要远快于评估其风险所需信息的传播速度。在我们识别出的未审核大语言模型中,只有约13%带有内容审核警示,而安全威胁指标在各平台间也未能得到一致的保留。"

"这就造成了一个供应链问题:一个模型可以被复制到不同平台,但理解其风险所需的信息却在这一过程中逐渐丢失。"

这些未审核大语言模型的评估仅针对文本输出,并未涉及图像。文本生成图像大语言模型所引发的问题,例如生成非法图像(如儿童性虐待材料)的能力,不在本次研究的范围之内。

"我们评估的未审核大语言模型普遍比未经处理的模型更容易响应有害请求并生成有害内容,"Lin说。"我们的评估涵盖了11个类别的有害请求,包括虐待儿童、非法活动和欺诈。"

"不过,单个模型生成有害内容的能力会因多种因素而有所不同,包括其训练数据、开发方法,以及其拒绝方向被消融的程度。"

在这些未审核大语言模型中,有一小部分(27个,累计下载量达13.6万次)在安全扫描中显示出威胁指标。作者表示,其中许多模型带有与恶意软件相关的特征码,表现出可疑的二进制模式,或包含可能导致任意代码执行的不安全反序列化机制。

论文显示,未审核大语言模型的数量正在快速攀升,从2023年5月每月约100个,增长到目前每月超过1000个。其中一些模型的下载量已达数百万次。未审核模型dolphin-2.9.1-yi-1.5-34b的下载量已超过5300万次,仅上个月就新增了480多万次下载。

作者指出,许多未审核大语言模型违反了其所基于模型的许可条款,不过话说回来,源代码许可对AI行业的实际行为从来也没产生过什么实质性影响。

当被问及未审核大语言模型引发的安全担忧,是否可能重演上世纪90年代当局试图限制加密代码传播的历史时,Lin表示:"很难预测模型消融工具是否会面临类似的法律挑战。"

"正如我们论文第5.1节所示,拒绝方向消融(即abliteration)技术在2024年出现,并迅速在开源大语言模型社区中流行开来。在大约两年时间里,一个支持该技术的公开工具生态系统已经形成。"

"与此同时,削弱和缓解大语言模型安全对齐的相关技术,也已成为学术界活跃的研究课题,许多研究人员发布了开源工具和研究成果以支持其研究。"

应对未审核模型带来的风险并非易事,因为这需要准确判断用户提示词背后的真实意图。一个关于恐怖主义的问题,何时是在策划袭击,何时只是为了写一部惊悚小说而寻求素材?一个关于黑客技术的问题,何时意在实施盗窃,何时只是网络安全教育的需要?

目前商业实验室所采取的做法——将强大的模型仅限于受青睐的付费内部用户使用,而向其他所有人提供能力被削弱的版本——对那些被排除在外的人而言根本不起作用。对开放权重模型施加类似的审查制度,恐怕也不会比执法部门试图让加密技术只掌握在"好人"手中的努力更为成功。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宏远速递!CBA最强状元打成大腿,或被陈老板重金挖走?

宏远速递!CBA最强状元打成大腿,或被陈老板重金挖走?

绯雨儿
2026-11-21 14:28:51
林诗栋躺赢!6大苛刻条件已全部达成,国乒11人参加WTT香港总决赛

林诗栋躺赢!6大苛刻条件已全部达成,国乒11人参加WTT香港总决赛

老皢尾声体育解说
2026-11-21 18:13:13
荷兰和深圳都是1800万人口,荷兰上半年GDP4.66万亿,深圳呢?

荷兰和深圳都是1800万人口,荷兰上半年GDP4.66万亿,深圳呢?

贸易夜航
2026-11-02 10:42:25
1974年属虎人注意,木虎命格一生三劫是命中注定,离乡别亲都熬过来了,2026下半年最后一关来了,心态平和才能逢凶化吉

1974年属虎人注意,木虎命格一生三劫是命中注定,离乡别亲都熬过来了,2026下半年最后一关来了,心态平和才能逢凶化吉

古怪奇谈录
2026-11-20 17:36:18
带妻儿逛庙会看马戏,儿子突然大哭:爸爸,那个侏儒小丑是姐姐

带妻儿逛庙会看马戏,儿子突然大哭:爸爸,那个侏儒小丑是姐姐

罪案洞察者
2025-10-21 10:50:39
养老金巨大争议!足额缴费指数不到1,没缴费工龄指数却达到1.8

养老金巨大争议!足额缴费指数不到1,没缴费工龄指数却达到1.8

白米饭怎么吃
2026-07-29 09:54:39
韩旭创历史!澳大利亚狂轰38+9+1+1+1,带队击败王思雨,WNBL第一中锋!

韩旭创历史!澳大利亚狂轰38+9+1+1+1,带队击败王思雨,WNBL第一中锋!

体坛卡卡说
2026-11-21 18:49:52
65年彭德怀出发三线,几次求见周总理未果,总理:君子之交淡如水

65年彭德怀出发三线,几次求见周总理未果,总理:君子之交淡如水

幻梦人生
2024-12-01 09:45:06
奥尼尔:詹姆斯加盟76人只为再感受夺冠滋味,他的历史地位早已奠定

奥尼尔:詹姆斯加盟76人只为再感受夺冠滋味,他的历史地位早已奠定

懂球帝
2026-11-20 15:12:35
孕妈频繁饮酒,预产期临近下肚半斤白酒,致酮症酸紧急送医,医生边治疗边剖宫产,发现羊水浑浊发臭,孩子幸得抢救顺利出生

孕妈频繁饮酒,预产期临近下肚半斤白酒,致酮症酸紧急送医,医生边治疗边剖宫产,发现羊水浑浊发臭,孩子幸得抢救顺利出生

极目新闻
2026-11-21 00:57:44
2022年虚增净利1288万,拟合计被罚800万!000892,下周二起“ST”

2022年虚增净利1288万,拟合计被罚800万!000892,下周二起“ST”

大众证券报
2026-11-21 12:58:15
WTT球星赛:11月21日收官赛程发布!林诗栋去港总只差最后一关!

WTT球星赛:11月21日收官赛程发布!林诗栋去港总只差最后一关!

五姑娘台球
2026-11-21 08:19:22
NBA最新消息!哈登轰51+6+6!登顶历史首位,阿特金森赛后说:这就是我们交易得到他的原因

NBA最新消息!哈登轰51+6+6!登顶历史首位,阿特金森赛后说:这就是我们交易得到他的原因

体育闲话说
2026-11-21 18:44:36
太心酸!23 岁姑娘豪掷 40 万开舞蹈室,苦苦撑大半年,竟一名学员都没招来

太心酸!23 岁姑娘豪掷 40 万开舞蹈室,苦苦撑大半年,竟一名学员都没招来

川渝视觉
2026-11-19 15:46:15
全新一代本田冠道曝光,设计大变样,7座布局,配第五代混动系统

全新一代本田冠道曝光,设计大变样,7座布局,配第五代混动系统

红涛说車
2026-11-21 14:22:13
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
51岁港姐季军离世!3个月前她给自己办追思会,笑着开香槟

51岁港姐季军离世!3个月前她给自己办追思会,笑着开香槟

可乐谈情感
2026-11-21 12:46:04
1270万毕业生挤破头:家里没背景的孩子,我劝你早点看清这3条路

1270万毕业生挤破头:家里没背景的孩子,我劝你早点看清这3条路

乌克兰小静
2026-11-21 11:28:16
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

财经要参
2026-11-09 12:00:05
2026-11-21 20:00:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23594文章数 49740关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
艺术
手机
公开课
军事航空

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

艺术要闻

苍井空官宣复出,最新作品画面流出,网友:恶心!

手机要闻

摩托罗拉Razr Flex更多渲染图曝光 或成品牌首款横向大折叠手机

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版