WAIC 2025｜张亚勤：要确保 AI 系统按预期运行，不被恶意篡改

7月27日，中国工程院外籍院士、清华大学智能产业研究院（AIR）院长张亚勤（远程）出席了 WAIC 2025 世界人工智能大会主题为“超级人工智能的科学共识和不确定性”的圆桌论坛环节，并发表了观点演讲。

张亚勤院士指出，人工智能发展呈现出三大主要趋势。首先是能力的快速提升，AI 模型在编码和数学等领域正在迅速改进，推理和推断能力不断增强。其次，AI 智能体数量翻倍，全球主要公司都在采用 AI 智能体，其发展十分迅速。最后，AI正从信息智能走向物理智能。我们看到无人驾驶，机器人，端到端，RL，和 VLA 多模态的快速发展。

同时，张亚勤院士强调，这些进步放大了现有的风险，如错误信息和虚假信息的传播，还引发了如 AI “越狱” 等新现象。由于 AI 智能体任务的复杂性，其带来的风险更是进一步加剧。对于 AI 的未来，张亚勤院士强调了两个关键问题：一是所有权问题，要确保 AI 为人类服务，与人类的价值观、伦理、道德和原则相一致，同时要理解与就业和教育相关的哲学、社会和心理挑战；二是安全和可控性问题，要确保 AI 系统按预期运行，不被恶意篡改，他强调了人类监督和 “停止功能” 的必要性。

为解决这些问题，张亚勤院士提出了三点具体建议：一是人才培养，引导顶尖人才专注于解决气候变化、污染、老龄化、医疗保健等全球共同问题的研究；二是研发投入，特别是在 AI 安全方面，专注于安全保障和可靠性约束等领域；三是国际合作，继续就 AI 安全进行国际对话，支持 AI 安全研究所和国际安全与道德 AI 协会等倡议。此外，他还特别建议设立全球 AI 安全研究基金，以支持不同地区的长期研究，并对 AI 生成的内容，特别是智能 AI 智能体实施注册和标识。

此次张亚勤院士在 WAIC 2025 世界人工智能大会圆桌论坛上分享的观点，为人工智能领域的未来发展提供了极具价值的思考方向，也让各界更加明晰在拥抱 AI 进步的同时，需重视并积极应对其带来的诸多风险，通过多方协同合作，共同推动人工智能朝着安全、可控且符合人类利益的方向稳步迈进，值得整个行业持续深入探讨与实践。

AIR长期招聘人工智能领域优秀科研人员

点这里关注我们

关于AIR

清华大学智能产业研究院（Institute for AI Industry Research, Tsinghua University，英文简称AIR，THU）是面向第四次工业革命的国际化、智能化、产业化的校级研究机构。AIR的使命是利用人工智能技术赋能产业升级、推动社会进步。通过大学与企业创新双引擎，突破人工智能核心技术，培养智能产业领军人才，推动智能产业跨越式发展。

AIR于2020年由多媒体及人工智能领域的世界级科学家、企业家张亚勤院士创建。

智慧交通（AI＋Transportation）、智慧物联（AI＋IoT）、智慧医疗（AI＋Life Science）是清华大学智能产业研究院的三个重点研发方向。