河北
OpenAI 已禁止与中国、北朝鲜及其他国家相关的账户，这些账户据报道使用 ChatGPT 发起监控活动、开发网络钓鱼技术和 恶意软件，并参与其他恶意行为。
在一份新的 报告中，OpenAI 表示观察到与中国政府机构或国家关联组织有关的个人，使用其大型语言模型 (LLM) 来帮助撰写监控系统和分析技术的提案。
这些提案包括用于监控个人和分析行为模式的各种工具。
探讨网络钓鱼
“我们禁止的一些账户似乎试图使用 ChatGPT 开发大规模监控工具，分析的数据集通常来自西方或中国的社交媒体平台，”报告中写道。
“这些用户通常要求 ChatGPT 帮助设计此类工具或生成关于它们的宣传材料，但并不要求进行监控。”
这些提示的表述方式巧妙地避免了触发安全过滤器，通常是以学术或技术问题的形式提出。
虽然返回的内容并没有直接用于监控，但听说这些输出被用来完善此类系统的文档和规划。
另一方面，北朝鲜人使用 ChatGPT 探索网络钓鱼技术、凭据盗窃以及 macOS 恶意软件的开发。
OpenAI 表示，它观察到这些账户测试与社会工程、密码收集和恶意代码调试相关的提示，尤其是针对苹果系统。
OpenAI 说，该模型拒绝了直接请求恶意代码，但强调这些威胁行为者仍试图通过重新措辞提示或请求一般技术帮助来绕过安全防护。
就像其他任何工具一样，LLM 被出于经济利益和国家支持的威胁行为者用于各种恶意活动。
这种人工智能的滥用正在不断演变，威胁行为者越来越多地将人工智能融入现有工作流程，以提升效率。
虽然像 OpenAI 这样的开发者努力降低风险，并确保他们的产品无法被这样使用，但仍有许多用法介于合法和恶意之间。报告指出，这种灰色地带的活动需要更为细致的检测策略。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
