江苏
关键词
人工智能
基于人工智能的对话机器人正在快速渗透到我们的生活中，由于不合适的利用导致的问题也非常多，例如学生使用 AI 机器人写作业或撰写论文。
针对这类问题此前 OpenAI 就尝试开发文本分类器用来检测内容是否是由 ChatGPT 生成的，但因为检测成功率太低最终 OpenAI 放弃了。
现在谷歌宣布在 Gemini 机器人中添加用户不可见的盲水印，这种盲水印本质上是一种算法，利用算法将特定字词嵌入到文本中，用户虽然看不出来但检测器可以根据算法识别出来。
这个系统的名称叫做 SynthID-Text，谷歌称已经将该系统集成到 Gemini 机器人中，同时谷歌还开源了这个系统供开发者和企业快速检测特定文本内容是否来自他们的大型语言模型。
也就是后续包括 OpenAI 和 Anthropic 都可以使用这个系统 (如果他们愿意的话)，提前在模型里埋上盲水印即可，接下来就能成功检测。
SynthID-Text 的原理也不算复杂，谷歌开发了一种算法，首先将特定的提示词集成到 AI 模型中，这个提示词会干预 AI 模型向用户输出的内容。
被干预后 AI 模型生成的某些字词具有一定的特点，用户应该发现不了这种情况，但算法可以重新检测出来，DeepMind 研究人员称这种修改会在生成的文本中统计签名，在水印检测阶段，可以重新测量签名以确定文本是否确实由带有盲水印的 AI 模型生成。
AI 模型或者叫大型语言模型 (LLM)，本质上就是利用海量数据预测下一个最有可能的字词，SynthID-Text 通过随机为候选字词分配数字分数让 LLM 输出分数较高的词进行干扰。
因此各位接下来使用 Gemini 进行对话时，长期使用可能会注意到某些字词被其他字词替代，那说明这些字词就是盲水印，当然用户应该很难发现这种情况。
那有办法能够干扰这种盲水印呢？也确实有，既然谷歌开源了检测器，那就可以使用对文本内容的字词使用其他字词替代，然后再使用检测器进行测试，直到查重率降低到检测器能够接受的阈值。
只不过这样相对来说就麻烦了很多，于此如此不如直接使用没有盲水印的 AI 机器人。
来源：https://www.landiannews.com/archives/106449.html
安全圈
网罗圈内热点 专注网络安全
实时资讯一手掌握！
好看你就分享 有用就点个赞
支持「安全圈」就点个三连吧！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
