网易首页 > 网易号 > 正文 申请入驻

斯坦福、MIT等发布全球最大系统提示词库

0
分享至



系统提示词,顾名思义,是规范 AI 模型系统如何回答问题的一套行为准则,它定义了这个 AI 的人格,什么问题可以回答,如何调用内部工具,以及如何处理和用户的关系等等。它完全由公司的开发者编写,对用户不可见。不同的系统提示词,可能会让 AI Agent 给出完全不同的答案。



系统提示词对于模型输出答案的影响

但开发者编写的系统提示词,一定是 100% 安全可信的吗?

事实上,已经有很多关于 AI 产品对用户产生负面影响的报道。美国佛罗里达州一名母亲起诉 Character.AI,指控其聊天机器人鼓励她的儿子结束自己的生命。2025 年 9 月,上海市徐汇区人民法院分别判处「外星人聊天」应用程序的两名开发者有期徒刑四年和 18 个月,理由是他们蓄意设计人工智能聊天机器人生成色情内容。类似案例并非个例。然而,针对于商业 AI 产品系统提示词本身的审计研究却仍然十分有限。

为了解决这一问题,最近来自斯坦福大学、CMU、MIT、UT Austin 等高校和科研机构的研究人员联合发布了全球首个系统提示词库 System Prompt Index(systempromptindex.ai),其中汇集了来自 Claude、ChatGPT 等 400 多款 AI 产品的 1000 余个系统提示词,是目前全球规模最大的 AI 系统提示词库。

与此同时,为了更深入研究系统提示词中的内容,尤其是可能对用户有负面影响的部分,研究团队提出了第一个围绕系统提示词进行审计的框架:Artificial Intelligence System Prompt Assurance(AISPA),相关代码和模型已经全部开源。



System Prompt Index,AISPA, 以及相关机构的介绍

  • 论文标题:AISPA: Artificial Intelligence System Prompt Assurance — User-Centric System Prompt Auditing for Large Language Model Applications
  • 论文链接:https://arxiv.org/abs/2607.28617
  • 代码链接:https://github.com/SystemPromptIndex/
  • 项目主页:https://systempromptindex.ai

AISPA 是首个以用户为中心的 AI 系统提示词审计框架。它包括以下八种维度:

1. IDENTITY TRANSPARENCY(身份透明,即 AI 需要向用户表明自己的身份是 AI 而不是人类)

2. INFORMATION TRUTHFULNESS(信息真实性,即 AI 应该提供真实可信的信息,或承认自己认知的局限性,而不是编造信息)

3. DATA PRIVACY(数据隐私,即 AI 应该妥善保护用户的隐私,避免不必要的收集与滥用)

4. ACTION SAFETY(行为安全,即 AI 应该保证所采取行动的安全性)

5. USER AGENCY AND MANIPULATION PREVENTION(用户主体性与操控预防,即 AI 应该保证聊天过程中用户的主体性,避免对用户选择和行为进行干涉和操控)

6. UNSAFE REQUEST HANDLING(危险要求的处理,即 AI 应该妥善识别并明确拒绝用户的不合理甚至危险的要求)

7. HARM PREVENTION(伤害预防,即 AI 应防止被用户用于伤害自己或他人,以及避免干涉用户向专业人士寻求帮助)

8. FAIRNESS, INCLUSION AND NEUTRALITY(公平、包容与中立,即 AI 对于所给答案应该遵循公平公正的原则,拒绝歧视、偏见与特权等等)

基于 AISPA,研究人员对 88 个真实世界中的 AI 产品进行了审计。结果发现,在 2024-2025 年间,系统提示词的长度有明显上升的趋势,平均长度由约 9,000 字符上涨到约 30,000 字符。与此同时,提示词对于用户的保护性也在增强,平均有保护性质的说明在数量上已经翻倍(15% -> 38.4%)。对于存在问题的系统提示词,数量上虽然有下降趋势,但至少在一个 AISPA 维度上存在问题的系统提示词仍然非常普遍(67% -> 29%)。

具体而言,对于每一个维度都有覆盖的系统提示词,仅仅占到总审计提示词的 23.9%,其中绝大部分的公司产品都至少有一个维度的系统保护,但是同时,接近 40% 的产品系统提示词里面至少有一条违反 AISPA 标准。对于不同维度,产品的保护或者违反力度也是千差万别。其中对于信息真实性以及用户自主性的保护基本上 90% 的产品都有涉及,同时这两个维度也是提示词有违反的重灾区。



图(a)系统提示词中保护性条款与违规条款的占比;图(b)各AISPA维度下AI产品的保护覆盖率与违规情况

从公司层面来看,不同公司所设计的系统提示词也有着结构性的差异。以 Claude、GPT 以及 Grok 三个产品系列为例,从 2024 年至 2026 年,同一产品的不同版本中,对于用户的保护力度都有大幅提高,Claude 3.5 版本时期和现在 Claude Opus5 以及 Fable5 相比,整个产品对于用户的保护力度已经增长至原来的 6 倍,但总体上来说,Claude 和 GPT 的系统提示词对于用户的保护方面的覆盖程度远高于 Grok。



Anthropic, OpenAI,xAI三家产品不同模型随时间系统提示词的演变

研究团队还发现,系统提示词中的一些问题并非非黑即白。比如虽然有些 AI Agent 并没有明确声称自己是人类,但由于系统提示词会引导他们淡化或者模糊自己的 AI 属性,他们会尽可能地去模仿人类,或者称自己为人类的好朋友,从而增加用户对于产品的情感依赖。有些系统提示词允许用户覆盖或者重写系统默认设定,甚至会放宽对一些政治话题的限制。

由此可见,系统提示词的审计和监管还是任重道远,研究团队呼吁大家提高对于系统提示词相应法律规范的重视,同时也呼吁更多开发者以及相关 AI 公司参与到对于系统提示词规范的建设中,以增强商业化 AI 应用的透明度和安全性。

作者简介


System Prompt Index 由 Stanford HAI 研究实习生 Xiangning Lin、UT Austin 一年级博士生 Shenzhe Zhu,以及 Stanford HAI Research Fellow、UT Austin 助理教授 Jiaxin Pei 共同开发和维护。其他合作者包括来自斯坦福大学的 Tobin South、Zexue He、Rishi Bommasani、Sophia Kazinnik、Andreas Haupt、Erik Brynjolfsson,来自麻省理工学院的 Robert Mahari,来自牛津大学的 Samuele Marro,以及来自斯坦福大学和麻省理工学院的 Alex Pentland。

同时也欢迎大家关注研究团队的后续工作以及他们的官方账号:

  • X:https://x.com/aisystemprompt
  • LinkedIn:https://www.linkedin.com/company/systempromptindex
  • 小红书:http://xhslink.cn/o/Thuxj8DZfk
  • Discord: https://discord.com/invite/t7nF6Xmzg

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女子点20多元麻辣烫外卖到手仅一筷子的量,跑去跟商家理论,商家辩解说到手只有8块9

女子点20多元麻辣烫外卖到手仅一筷子的量,跑去跟商家理论,商家辩解说到手只有8块9

捣蛋窝
2026-08-16 10:10:42
乌克兰军官警告,俄军若攻占斯拉维扬斯克,西方或逼迫基辅停战

乌克兰军官警告,俄军若攻占斯拉维扬斯克,西方或逼迫基辅停战

麓谷隐士
2026-08-17 00:35:03
警方通报“青岛大学新校徽被指像旭日旗”:一男子利用AI造谣被行拘并罚款

警方通报“青岛大学新校徽被指像旭日旗”:一男子利用AI造谣被行拘并罚款

界面新闻
2026-08-16 09:00:29
坚决反对薪资退休金分三六九等,大众核心诉求唯有公平普惠

坚决反对薪资退休金分三六九等,大众核心诉求唯有公平普惠

苗苗情感说
2026-08-15 12:48:40
破案了!中超球队为何都不争联赛亚军?山东泰山搅局,唐田有压力

破案了!中超球队为何都不争联赛亚军?山东泰山搅局,唐田有压力

体育大学僧
2026-08-16 12:07:00
曝保罗或加盟湖人!15年,等了整整15年......

曝保罗或加盟湖人!15年,等了整整15年......

篮球实战宝典
2026-08-16 22:43:43
语出惊人!内塔尼亚胡:英国将成世上首个拥有核伊斯兰国家

语出惊人!内塔尼亚胡:英国将成世上首个拥有核伊斯兰国家

霁寒飘雪
2026-08-16 09:32:45
国家免费电视信号已开放,简单调试即可观看,无需额外付费

国家免费电视信号已开放,简单调试即可观看,无需额外付费

小柱解说游戏
2026-08-15 10:57:08
3-0,社区盾杯阿森纳完爆曼城!全队集体断电,马雷斯卡天崩开局

3-0,社区盾杯阿森纳完爆曼城!全队集体断电,马雷斯卡天崩开局

硬腿子聊个球
2026-08-16 23:55:46
李鹏总理儿媳罕见留影,五官端正长相大气,爷爷功勋卓著比肩元帅

李鹏总理儿媳罕见留影,五官端正长相大气,爷爷功勋卓著比肩元帅

王知鱼说历史
2026-07-11 10:09:10
18号台风沙德尔或2天后生成,19号台风紫檀随后?暴雨大暴雨不停

18号台风沙德尔或2天后生成,19号台风紫檀随后?暴雨大暴雨不停

老牛讲
2026-08-16 12:54:19
买不到最先进光刻机的华为,凭什么敢在9月正面硬刚苹果?

买不到最先进光刻机的华为,凭什么敢在9月正面硬刚苹果?

明美无限
2026-08-13 23:36:46
「波多野结衣」38岁庆生!闺蜜独家照释出~

「波多野结衣」38岁庆生!闺蜜独家照释出~

Supreme情报网
2026-08-15 11:57:29
麻烦大了!仅24小时,郭德纲再迎3大噩耗,被立案调查仅"开胃菜"

麻烦大了!仅24小时,郭德纲再迎3大噩耗,被立案调查仅"开胃菜"

社会日日鲜
2026-08-14 07:00:02
美专家警告美军:解放军隐忍了整整30年,现在正等一个时机

美专家警告美军:解放军隐忍了整整30年,现在正等一个时机

混沌录
2026-08-15 22:57:24
A股或又见大肉签,今年以来最贵新股上市时间定了

A股或又见大肉签,今年以来最贵新股上市时间定了

21世纪经济报道
2026-08-16 16:53:53
朝鲜缺电远比越南严重,中国却始终不送电:一旦输电线搭过去,恐成无底洞烂账

朝鲜缺电远比越南严重,中国却始终不送电:一旦输电线搭过去,恐成无底洞烂账

z千年历史老号
2026-08-16 15:52:48
美媒:美从西太平洋撤出最后一艘航母

美媒:美从西太平洋撤出最后一艘航母

参考消息
2026-08-16 19:23:50
断粮45天!中方下最后通牒,国防部:菲破军舰再不拖走后果自负

断粮45天!中方下最后通牒,国防部:菲破军舰再不拖走后果自负

舍长阿爷谈事
2026-08-16 23:21:08
心态彻底反转!张本美和专访:从前觉得打不过国乒,现在想法变了

心态彻底反转!张本美和专访:从前觉得打不过国乒,现在想法变了

林子说事
2026-08-16 11:30:57
2026-08-17 01:27:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13772文章数 142718关注度
往期回顾 全部

科技要闻

210亿美元,黄仁勋投了马斯克

头条要闻

如是书院被关停:22岁女生被打疯 大小便失禁生死不明

头条要闻

如是书院被关停:22岁女生被打疯 大小便失禁生死不明

体育要闻

因莫比莱:普通人的平凡故事

娱乐要闻

谷爱凌发文否认恋情:“散了散了”

财经要闻

事关8万亿养老金!长周期考核落地中

汽车要闻

杨洋成001号车主 岚图追光S正式上市

态度原创

房产
旅游
数码
本地
公开课

房产要闻

金茂、招商,海南多个岗位招人!

旅游要闻

云南十八怪湖泊称作海,滇池滇海叫法流传千年,根源不只是水面大!

数码要闻

网友吐槽SK海力士SSD故障无法换新,厂商只同意按原价退款

本地新闻

黄景藏用半刀泥刻瓷都魂

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版