网易首页 > 网易号 > 正文 申请入驻

给AI agent保驾护航、让大模型聊天管住嘴,英伟达造了个安全利器

0
分享至


智东西
作者 ZeR0
编辑 漠影

智东西1月17日报道,在上周国际消费电子展CES 2025前夕,NVIDIA(英伟达)推出了一款开发安全、可信的AI agent利器——NVIDIA NIM Al Guardrail微服务。

AI agent(常被译作“智能体”、“代理”)是生成式AI接下来一大发展趋势,有望成为能够完成各种任务的“知识机器人”,提升全球数十亿知识工作者的生产力。

要开发AI智能体,企业需要解决信任、物理安全、网络安全以及合规性等关键问题。而使用NIM微服务开发出的AI agent,会参考特定语境准则做出安全、适当的回答,并且加强了对越狱企图的抵御力度。

这些agent可被部署在汽车、金融、医疗、制造、零售等行业的客户服务中,提高客户的满意度和信任度。

Amdocs、Cerence AI、劳氏公司(Lowe’’s)等行业领导企业都在使用NeMo Guardrails保护AI应用的安全。

一、给AI agent装备“安全护甲”:内容安全、话题控制、越狱检测

AI正在迅速提高各种业务流程的生产力。为了扩展用于客户服务的AI和其他AI agent,需要有安全的模型防止有害或不当的输出结果,并确保AI应用在规定的参数范围内运行。

NIM Al Guardrail微服务是NVIDIA NeMo Guardrails软件工具系列的一部分,旨在帮助企业提高生成式AI应用的安全性、精准性和可扩展性。这些推理微服务经过优化,并可以移植。

NVIDIA为NeMo Guardrails引入了3项全新NIM微服务,可帮助AI智能体在大规模运行的同时保持受控行为:

  • 内容安全NIM微服务:防止 AI生成有偏见或有害的输出结果,确保回答符合道德标准。
  • 话题控制NIM微服务:将对话聚焦在经过审核的话题上,避免离题或不当内容。
  • 越狱检测NIM微服务:增加对越狱企图的防护,帮助在对抗性场景中保持AI的完整性。

这些微服务是高度优化的轻量级小语言模型,可以调节较大模型的响应以提高应用程序性能。

由于“一刀切”的方法无法有效保护和控制复杂的代理式AI工作流,通过应用多个轻量级专业模型作为护栏,开发者可以弥补在只采取较为通用的全局策略和保护措施时可能出现的漏洞。

小语言模型的延迟较低,即使在资源有限或分布式环境中也能高效运行,因此是扩展AI应用的理想选择,用于医疗、汽车、制造等行业,以及医院或仓库等场所。

二、发布高质量内容安全数据集,提供AI安全测试开源工具

NeMo Guardrails可帮助开发者通过编排多项AI软件策略(称为rail)提高大语言模型应用的安全性和可控性。它与NVIDIA NIM微服务一同组成了一个强大的AI系统构建框架,可在不影响安全和性能的情况下进行大规模部署。

NVIDIA打造的微服务围绕NeMo Guardrails为核心编排。NeMo Guardrails是NVIDIA NeMo平台用于AI的管理、定制和防护,可帮助开发者在大语言模型应用中集成和管理AI护栏。

在这些全新微服务中,有一项专为审核内容安全而构建,并使用Aegis内容安全数据集(AegisContent Safety Dataset) 进行训练,后者是同类中质量较高的人工注释数据源之一。

该数据集由NVIDIA整理并拥有,包含超过35000个经过人工标注、针对AI安全和绕过系统限制的越狱企图的数据样本,已在Hugging Face网站上公开发布。

NeMo Guardrails还提供用于AI安全测试的开源工具。

NVIDIA Garak是一款由NVIDIA Research团队开发的用于大语言模型和应用漏洞扫描的开源套件。开发者可以使用它测试安全保障模型和其他rail的使用效果。

借助Garak,开发者通过评估数据泄露、提示注入、代码幻觉、越狱场景等问题,发现使用大语言模型的系统中所存在的漏洞。

通过生成包含不当或不正确输出结果的测试用例,Garak可帮助开发者发现并解决AI模型中的潜在弱点,提高模型的稳健性与安全性。

NeMo Guardrails微服务以及用于编排rail的Nemo Guardrails和NVIDIA套件已向开发者和企业开放。

三、传媒、汽车、家居、咨询行业都在用

传媒企业软件与服务提供商Amdocs正在使用NeMo Guardrails实现更加安全、准确、符合语境的回答,增强AI驱动的客户交互。该公司正在通过将NVIDIA NeMo Guardrails集成到amAIz平台,增强该平台的可信AI功能,保障代理式体验的安全性、可靠性、可扩展性。

Cerence Al是一家专为汽车行业提供AI解决方案的公司,正在使用NeMo Guardrails来帮助其车载助手在其CaLLM系列大语言和小语言模型的支持下提供符合语境的安全交互。

据Cerence AI产品和技术执行副总裁Nils Schanz分享,使用NeMo Guardrails不仅能帮助为汽车制造商客户提供可信的情境感知解决方案,作出明智、严谨且无幻觉的回答,还可以针对汽车制造商客户的需求定制,帮助过滤有害或不友善的请求,防止提供意外或不当的内容。

家居装饰零售商劳氏公司(Lowe’s)正在利用生成式AI来巩固其店员的专业知识。通过提供更全面的产品知识,这些工具使店员能够回答客户的问题,帮助他们找到合适的产品来完成项目,并为零售创新和客户满意度树立新的标准,同时保障AI生成回答的安全性与可靠性。

面向零售业AI应用,NVIDIA近期在NRF(National Retail Federation) 展会上宣布,适用于零售购物助手的NVIDIA AI Blueprint整合了NeMo Guardrails微服务,为数字购物创造更加可靠、可控的客户交互。

咨询行业领头企业Taskus、Tech Mahindra、Wipro也正在将NeMo Guardrails集成到其解决方案中,以便为企业客户提供更加安全、可靠、可控的生成式AI应用。

NeMo Guardrails可集成由领先的AI安全模型和防护提供商组成的强大生态系统,以及AI可观察性和开发工具。它支持与ActiveFence的ActiveScore集成,以防止对话式AI应用中出现有害或不当的内容,并提供可视化、分析和监控功能。

Hive以NIM微服务的形式提供适用于图像、视频和音频内容的AI生成内容检测模型,通过使用NeMo Guardrails,可轻松地将其模型集成到AI应用中并进行编排。

AI可观测性平台Fiddler可轻松与NeMo Guardrails集成,增强 Al Guardrails的监控功能。端到端AI开发者平台Weights & Biases正在现有NIM集成组合的基础上,通过增加与NeMoGuardrails微服务的集成来扩展W&B Weave的功能,以此提升生产中的AI推理能力。

结语:企业AI Agent浪潮将至

作为全球AI计算巨头,NVIDIA判断AI Agent浪潮将至。与其他快速扩张的生成式AI应用一样,如果不能建立安全、可信、合规等护栏,AI Agent将存在脱轨的风险。NVIDIA正致力于通过引入NIM微服务和NeMo Guardrails平台,推动AI Agent在保持正轨的前提下走向更多部署和生产。

针对构建护栏,NVIDIA探索了不同类模型的大小与有效性,确保AI应用程序在不同行业中安全、合乎道德且有效地运行。NIM微服务支持开发人员堆叠多个护栏,既能防止AI agent偏离原始任务或输出负面内容,又能减少额外延迟、优化响应速度。这将为企业提供增加对AI agent控制力度和信任度的有效工具。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
你和同事做过最暧昧的事是什么?网友:现在回想起来都是遗憾!

你和同事做过最暧昧的事是什么?网友:现在回想起来都是遗憾!

美好客栈大掌柜
2024-12-21 00:15:03
A股:没有悬念,股民做好准备,主力资金的一盘大棋要开始了!

A股:没有悬念,股民做好准备,主力资金的一盘大棋要开始了!

飞花文史
2025-02-12 16:03:27
女孩在学校升旗时晕倒,检查后,在脑袋里发现钢针,奶奶:我扎的

女孩在学校升旗时晕倒,检查后,在脑袋里发现钢针,奶奶:我扎的

坦然风云
2025-02-12 15:51:59
建议大家:若不差钱,家里添置“这5样”,让幸福感加倍提升!

建议大家:若不差钱,家里添置“这5样”,让幸福感加倍提升!

小柱解说游戏
2025-02-09 22:16:52
一旦俄乌战争结束,三国面临亡国,还有一国将会被西方乌克兰化

一旦俄乌战争结束,三国面临亡国,还有一国将会被西方乌克兰化

联友忆史
2025-02-11 13:46:10
痛别!他于7时45分在浙江离世

痛别!他于7时45分在浙江离世

FM93浙江交通之声
2025-02-11 22:51:06
“还过个屁年!”河南女子崩溃时的嘶吼,撕开4500万家庭的隐痛!

“还过个屁年!”河南女子崩溃时的嘶吼,撕开4500万家庭的隐痛!

明月聊史
2025-02-08 16:04:00
若美国入侵中国,打败中国需要几个小时?DeepSeek给出精准分析

若美国入侵中国,打败中国需要几个小时?DeepSeek给出精准分析

涟漪读史
2025-02-11 15:02:45
刘卫东,任上被查

刘卫东,任上被查

新京报
2025-02-12 15:34:00
上春晚的人形机器人开售,65万元1“人”,客服称已预订完

上春晚的人形机器人开售,65万元1“人”,客服称已预订完

红星新闻
2025-02-12 19:59:15
《哪吒2》真有望超越《阿凡达》,成为全球票房冠军

《哪吒2》真有望超越《阿凡达》,成为全球票房冠军

影视原说a
2025-02-12 12:27:39
李彦宏父亲病危,医生:要不要上呼吸机?李彦宏不假思索:“不!”

李彦宏父亲病危,医生:要不要上呼吸机?李彦宏不假思索:“不!”

百态人间
2025-02-12 16:43:42
“阴花不能进阳宅”,这5种花打死都不能养!家里若有?快挪走!

“阴花不能进阳宅”,这5种花打死都不能养!家里若有?快挪走!

平祥生活日志
2025-02-08 02:14:32
本西:我跟一些队伍交流过 但快船一开始就告诉我 他们视我为控卫

本西:我跟一些队伍交流过 但快船一开始就告诉我 他们视我为控卫

直播吧
2025-02-12 14:10:13
范冰冰自家豪宅撸猫,穿卫衣配红秋裤好接地气,素颜仍美若天仙!

范冰冰自家豪宅撸猫,穿卫衣配红秋裤好接地气,素颜仍美若天仙!

时髦范
2025-02-12 09:52:44
在同学群里不说话、不退群、不参加聚会的,往往是这3类人

在同学群里不说话、不退群、不参加聚会的,往往是这3类人

情感创作者无笔
2025-02-10 17:40:10
越闹越大!山西大同的致歉信引多家媒体痛批:政绩观扭曲

越闹越大!山西大同的致歉信引多家媒体痛批:政绩观扭曲

魔都姐姐杂谈
2025-02-10 08:33:23
张柏芝首次承认,伤她最深不是陈冠希,而是让她3年怀孕5次的男人

张柏芝首次承认,伤她最深不是陈冠希,而是让她3年怀孕5次的男人

小彭谈历史
2025-02-11 11:59:48
京东,突传大消息!

京东,突传大消息!

中吴网
2025-02-12 10:41:38
实话实讲,当今世界男乒,最让林诗栋忌惮的只有3人!

实话实讲,当今世界男乒,最让林诗栋忌惮的只有3人!

沧海一书客
2025-02-12 09:44:02
2025-02-13 01:04:49
智东西 incentive-icons
智东西
聚焦智能变革,服务产业升级。
9444文章数 116679关注度
往期回顾 全部

科技要闻

京东“0佣金”入局外卖,美团饿了么怕了吗

头条要闻

媒体:特朗普说"乌可能属于俄" 泽连斯基应该心里一凉

头条要闻

媒体:特朗普说"乌可能属于俄" 泽连斯基应该心里一凉

体育要闻

五大中卫,也填补不了瓜迪奥拉的安全感

娱乐要闻

S妈二度悲伤发文悼念大S惹争议

财经要闻

6位杭州老板,撑起了中国科技界的门面

汽车要闻

比亚迪,打响“智驾平权”革命第一枪

态度原创

亲子
本地
时尚
手机
军事航空

亲子要闻

孩子被鼻塞、鼻涕折磨,这一招超有效!但千万别用错了

本地新闻

非遗版春节|古法滚元宵,年味儿一口爆浆

灯~灯~灯~灯~灯~灯~

手机要闻

2025手机革命点有哪些?总结了五种情况,发展趋势均很明显!

军事要闻

泽连斯基:乌克兰计划同俄互换部分领土

无障碍浏览 进入关怀版