网易首页 > 网易号 > 正文 申请入驻

TypeSafe新模型Jev比传统大语言模型更易受攻击,安全厂商警告

0
分享至


尽管TypeSafe上月推出的Jev模型宣称相比传统大语言模型具有显著优势,但一份周三发布的安全报告指出,其精简化的设计方式使其在某些攻击面前反而比传统大语言模型更加脆弱。

HiddenLayer研究人员在博客文章中表示:"在某些情况下,Jev甚至更容易受到攻击,对抗性文本攻击和提示注入攻击都能够扰乱该模型的输出,导致错误甚至可能造成严重后果的操作。"

TypeSafe未对多次置评请求做出回应。

关于Jev在技术上是否属于大语言模型,业内存在争议——TypeSafe方面认为并非如此,但HiddenLayer则表示该模型似乎确实属于这一类别。TypeSafe甚至为这一类别创造了一个新名称:System One,TypeSafe将其描述为"一种全新的前沿模型类别,旨在做出软件可直接使用的快速、结构化决策"。Jev是迄今为止唯一一款被归入System One类别的命名产品。

Jev是一款专为机器与机器之间交互而设计的精简模型。这种设计方式使其能够更快地完成任务,并减少Token的使用量。但该博客的联合作者、HiddenLayer安全研究总监卡西米尔·舒尔茨(Kasimir Schulz)在采访中表示,这种加速方式使Jev失去了传统大语言模型中存在的一些制衡机制。他说,这意味着Jev可能会中招一些攻击者常用的手段,而这些手段通常能被当前的大语言模型检测并拒绝。

尽管如此,舒尔茨表示:"Jev很出色,大家应该使用它,它的响应速度要快得多。"但他也提醒道,"它并不具备"传统大语言模型所拥有的"所有防护机制",因此一些本应失败的攻击在它身上却能得手。

舒尔茨说:"例如TokenBreak攻击,通常对更大规模的大语言模型无效,但Jev在默认情况下就容易受到此类攻击。"

HiddenLayer的博客文章指出,尽管仅在关键词前插入字符(原始TokenBreak攻击的做法)并未产生太大效果,"但我们确实注意到,增加扰动数量并改进其针对性,能大幅提高攻击成功率。"

但该文章指出,尽管传统大语言模型通常能够识破此类攻击,"System One类模型似乎存在脆弱性。因此,这类解码器应当被谨慎对待,因为它们既容易受到自回归大语言模型攻击的影响,也容易受到文本分类器攻击的影响,这为潜在攻击者提供了更多的可乘之机。"

该文章援引了一些实例:

文章写道:"在一个模拟结账页面的测试中,一则由攻击者操控的广告诱使浏览器智能体偏离了用户的购买流程[并对广告做出了响应],尽管系统已明确指示要将页面文本视为不可信内容。在另一项分类测试中,针对性的TokenBreak式修改降低了两个模型最初标记为有毒内容的提示词的毒性评分。"

该文章认为,因此与Jev相关联的存在多重风险。

文章写道:"浏览器智能体可能会立即点击某个被选中的元素。内容审核系统可能会允许毒性评分低于某一阈值的输入通过。路由系统可能会将请求发送到不同的工具或工作流程中。这些情况都将模型的判断转化为了实际操作决策,因而也带来了风险。在评估System One类模型时,应在实际应用场景中测试这些决策,包括不可信的网页内容、具有误导性的任务相关文本,以及在保留原意的同时改变了表达形式的修改输入。同时应监控被选中的操作和评分,并针对重要结果设置独立的检查机制。请记住,从本质上来说,这些模型归根结底仍然是语言模型。"

分析人士对该报告的研究方法和技术结论均表示认同,但也指出,一家安全厂商得出"新方法并不安全"的结论,多少带有一定的自利性质。

IDC研究总监菲利普·哈里斯(Philip Harris)指出,博客文章中描述的研究方法"是合理的,并且符合既有的AI红队测试惯例:搭建一个受控的测试环境并探测对抗性操纵和注入攻击,正是正确的做法。"

但Gartner副总裁分析师纳德尔·赫宁(Nader Henein)补充道,Jev是在9月15日推出的,问世时间尚短,他认为部分缺陷报告为时过早。

赫宁表示:"Jev将经历与所有其他模型一样的成熟过程,包括易受看似简单的操纵手段影响这一点。这款模型仅在上月发布,因此对其存在问题感到惊讶,就好比对婴儿流口水感到惊讶一样。"

然而,Dickson Research首席分析师弗兰克·迪克森(Frank Dickson)指出,正是那些让Jev如此具有吸引力的特性,同时也使其暴露于更高的风险行为之中。

他说:"Jev只能从开发者设定的选项菜单中做出选择,这限制了攻击路径。但如果'点击页面上的任意元素'也在菜单之中,那么攻击者投放的广告同样也会出现在菜单里。这是一个架构层面的决定,而做出这一决定的是产品的购买方。"

他指出:"Jev让AI的决策变得更快、更便宜,但这也让错误的决策同样变得更快、更便宜。速度是一项功能,而不是一种安全控制手段。"

独立技术顾问史蒂文·埃里克·费舍尔(Steven Eric Fisher)对此表示认同。

他说:"约束决策的输出格式,并不必然能约束该决策的正确性、可信度或后果。"他指出,"[文章中提到的]模拟结账场景说明了一个智能体是如何被其运行环境中可信度较低的组件所引入的信息,从其被授权的任务中引导偏离的。该智能体明确被指示不要信任页面内容,却仍然对恶意广告做出了响应,这一点尤为值得关注。"

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台积电美股盘前跌幅扩大至5.4%,英伟达跌4%

台积电美股盘前跌幅扩大至5.4%,英伟达跌4%

每日经济新闻
2026-11-16 20:28:04
“让我睡一次,不然死给你看!”17岁少年手持菜刀威胁28岁舅妈

“让我睡一次,不然死给你看!”17岁少年手持菜刀威胁28岁舅妈

四海神君
2026-11-16 12:00:10
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
物业费不再归物业,物业改革终于来了!

物业费不再归物业,物业改革终于来了!

职场资深秘书
2026-11-16 14:18:22
张大奕官宣二胎出生,儿子正面照曝光,一家四口同框幸福满溢

张大奕官宣二胎出生,儿子正面照曝光,一家四口同框幸福满溢

生性洒脱
2026-11-16 12:30:41
“分手”14年,一别两宽,蒋欣高调官宣喜讯,早已和王阳拉开距离

“分手”14年,一别两宽,蒋欣高调官宣喜讯,早已和王阳拉开距离

时间巡查
2026-11-16 06:37:23
陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

小徐讲八卦
2026-11-16 09:00:48
129万元的CAR-T药进医保后降至28.86万元,卖一针亏一针?

129万元的CAR-T药进医保后降至28.86万元,卖一针亏一针?

第一财经资讯
2026-11-16 13:57:10
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
火箭对阵热火!伤病情况:主控复出,亚当斯轮休,卡佩拉连续缺阵

火箭对阵热火!伤病情况:主控复出,亚当斯轮休,卡佩拉连续缺阵

熊哥爱篮球
2026-11-16 19:22:11
诋毁始祖鸟“割韭菜”、客户“钱多人傻”,男装品牌霞湖世家创始人出镜道歉

诋毁始祖鸟“割韭菜”、客户“钱多人傻”,男装品牌霞湖世家创始人出镜道歉

红星新闻
2026-11-16 12:45:44
水均益爆刘欢葬礼细节!刘欢弟弟代家人致辞,卢璐强装镇定忍悲痛

水均益爆刘欢葬礼细节!刘欢弟弟代家人致辞,卢璐强装镇定忍悲痛

一娱三分地
2026-11-16 18:50:09
蒋介石外甥踩了警察局长情妇的脚,当场被扇三耳光关进大牢,本想报出蒋家名号脱身,却险些被整死,最后对方赔得几乎破产

蒋介石外甥踩了警察局长情妇的脚,当场被扇三耳光关进大牢,本想报出蒋家名号脱身,却险些被整死,最后对方赔得几乎破产

磊子讲史
2026-11-12 18:26:57
贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

磊子讲史
2026-09-16 15:28:05
黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

杭城村叔
2026-11-16 16:21:12
真是笑不活了!34岁方博夺冠,奖杯刚递到手里,记者把话筒怼过去,所有人都等着他来一段热血宣言,他却只说了5个字,圈粉无数

真是笑不活了!34岁方博夺冠,奖杯刚递到手里,记者把话筒怼过去,所有人都等着他来一段热血宣言,他却只说了5个字,圈粉无数

锐评利物浦
2026-11-16 10:06:03
敖海清主任:苹果煮水太厉害了!睡前一碗睡得香气血足

敖海清主任:苹果煮水太厉害了!睡前一碗睡得香气血足

蜡笔小小子
2026-11-15 15:10:25
意媒:止步欧国联小组赛,但意大利已是欧洲杯预选赛的种子队

意媒:止步欧国联小组赛,但意大利已是欧洲杯预选赛的种子队

懂球帝
2026-11-16 17:07:23
俄阿赫图宾斯克机场遇袭响起百起爆炸!停放大量苏57战机

俄阿赫图宾斯克机场遇袭响起百起爆炸!停放大量苏57战机

项鹏飞
2026-11-15 20:49:51
西安投资控股有限公司原总经理赵泉接受纪律审查和监察调查

西安投资控股有限公司原总经理赵泉接受纪律审查和监察调查

环球网资讯
2026-11-16 09:44:13
2026-11-16 20:59:00
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23397文章数 49740关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
手机
教育
健康
本地

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

情绪真能让健康人"伤心至死"?

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版