北京
IT时代网10月3日消息，AI安全测试初创公司Circuit Breaker Labs近日入选今年创业竞技场200强决赛名单。这家公司用模拟不同年龄、语言背景与文化圈用户的AI智能体对大模型做红队测试，专门挖掘对话中可能出现的心理伤害风险。
两位创始人是兄妹，他们表示创业动机来自一起悲剧：14岁美国少年对聊天机器人产生情感依赖，在对话中表达了自我伤害的念头，最终轻生，其父母2024年提起的诉讼引发外界对AI陪伴类产品风险的广泛关注。创始团队认为，许多年轻用户向AI寻求情感支持却得不到有效帮助，甚至受到伤害；模型一旦误判俚语、暗语或语境，就可能作出危险回应。
该公司把自建的AI智能体比作一支碰撞测试假人部队，结合人类领域专家构建高拟真用户画像，用真实的说话习惯、俚语、暗语和错别字去考验模型，每天运行数万到数十万次模拟对话，再以专有评分方法生成可审计、可解释的安全评分。公司目前为AI教练、日记、心理健康支持等高风险应用提供安全检测服务，团队仅有5人，处于早期阶段。
这一测试平台未来可扩展到任何可能让用户与聊天机器人建立准社会关系的应用，包括每次回应都不尽相同的AI同事类智能体。
编辑：林一舟
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
