字节跳动成立了一个新部门,专门研究大模型安全与对齐。这个部门由张宇飞领导——他此前是英伟达的量子科学家,现在是字节 Seed 的高管。
招聘规模是10 名顶尖研究员,面向全球。研究方向包括模型对齐、自动化红队测试、可解释性和能力监控。
![]()
安全研究具体做什么
模型对齐是让模型的行为符合人类意图;自动化红队测试是用系统化方式主动寻找模型漏洞;可解释性指向模型内部机制的理解;能力监控则关注模型是否具备未被察觉的新能力。
这些方向对应的现实问题很具体:模型越狱、沙箱隔离突破、病毒生成,以及量子计算对现有密码体系的威胁。
为什么现在做这件事
大模型安全领域的紧迫性正在上升。越狱和沙箱突破意味着模型可能被诱导执行设计之外的行动,病毒生成则把风险从信息层面推向现实层面。量子计算对密码学的冲击,则是一个更长周期但影响面更广的变量。
这些挑战需要专门的研究投入,而不是靠产品团队顺手处理。
一个被点出的差距
中国在模型安全和对齐方面的进展,目前滞后于国际同行。字节这次设立独立部门并全球招募,是在这个背景下的一次加码。
10 人的规模不算大,但方向选得很明确:对齐、红队、可解释性、能力监控,都是当前 AI 安全研究里最核心的几块。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.