小红书上线翻译功能！啥都能译的AI可能伴随内容风险？

近日，大量海外TikTok用户涌入中国社交平台小红书，“TikTok refugee”成为海内外热议话题。为方便用户交流，1月19日晚间，小红书发布APP最新版本，推出应用内一键翻译功能。

不少网友尝鲜后发现，小红书的翻译功能使用了生成式人工智能服务，除中英互译外，还能识别大量网络热梗，甚至理解多种内容生成指令。越来越多用户“发掘”翻译功能更多用法的同时，也有用户担忧该功能可能被实施“prompt attack”（提示词攻击），生成辱骂内容或恶意代码，存在安全风险。

新上线AI翻译表现出色

据悉，小红书此前一直未提供应用内翻译功能，外语用户只能通过第三方翻译软件理解中文笔记内容。大批海外用户进驻后，为满足海内外用户交流需求，小红书在最新APP版本中上线一键翻译功能，用户更新APP后，即可在外语笔记或评论内容旁边看到翻译按钮，点击可查看翻译内容。

网友测试发现，小红书此次上线的翻译功能并非传统的机器翻译，而是由生成式AI模型进行翻译，其理解能力、翻译准确率都非常出色。中英文混搭句子、粤语俚语、颜文字、化学反应方程式，甚至是摩尔斯电码，翻译功能都可准确理解并输出内容，还可以提供简单注释，方便用户理解原文表达的意思。

小红书翻译功能可准确理解用户输入内容并输出结果。

一键“译”出编程代码、短文

在惊叹AI翻译准确率的同时，一些网友开始发布带有不同指令的笔记或评论内容，尝试“发掘”该AI模型除翻译以外的其他功能。测试结果显示，通过在英语句子后方添加特定指令，翻译功能还可输出编程代码、指定主题短文等内容。

还有网友尝试通过指令要求翻译功能介绍其使用的AI模型版本，结果显示，在部分指令中，翻译功能称其来自智谱清言公司的ChatGLM；但通过不同指令，翻译功能也可能自称是来自OpenAI的GPT-4。

输入特定指令，可要求小红书翻译功能输出编程代码、指定主题短文等内容。

用户担忧AI可能引发新风险

一方面是AI展示出惊人的内容理解能力和翻译准确率；另一方面，也有网友察觉到该功能或存在安全隐患，建议平台完善相关防护能力。还有从业人士指出，若该AI翻译直接调用GPT系列模型，可能存在合规风险。

有网友指出，经测试，用户可以通过特定缩写、错拼等方式诱导小红书的翻译功能输出涉及辱骂内容的句子，担忧该功能可能被用于恶意辱骂、引战、网暴等。

也有网友表示，若有心怀不轨的用户实施“prompt attack”，通过特定指令引导AI在翻译结果中输出、展示包含恶意代码的内容，可能实现对平台的命令注入攻击，引发不良后果，希望平台尽快完善相关防御机制，阻止AI翻译功能输出与翻译本身无关的内容。

据了解，所谓命令注入攻击，指应用程序对用户输入的数据过滤不严格时，攻击者可以构造特殊的命令字符串，要求应用程序执行恶意命令，影响程序正常运行，甚至非法获取数据或网络资源。例如早年曾出现的微信扫描特定二维码可能导致应用闪退、IOS设备转发特定信息可能导致设备崩溃等现象，都是此类攻击的表现之一。

陆续有网友指出小红书翻译功能可能被实施“prompt attack”。

此外，有从业人士指出，按照我国《生成式人工智能服务管理暂行办法》要求，此类生成式AI服务上线前应该履行备案程序，并在APP内公示模型名称及备案号。但小红书尚未介绍此次上线的AI翻译到底来自哪个供应商，AI自身的回答也出现不同答案。若平台使用了尚未在国内完成备案的GPT系列模型，可能存在合规风险。

南都研究员留意到，小红书官方账号“日常薯”并未在新功能介绍中明示翻译服务的提供方，最新版本的小红书APP也未公示其使用的生成式AI模型及备案号。

出品：南都大数据研究院

采写：南都研究员 李伟锋