新晋上海AI实验室主任周伯文：AI安全投入落后于性能提升

7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。大模型初创公司衔远科技创始人周伯文首度以新身份公开出席活动。

今年5月下旬以来，外界传闻称，周伯文将赴任上海人工智能实验室主任一职，接替因病去世的商汤科技创始人汤晓鸥。这一消息在世界人工智能大会开幕式上得到证实，周伯文已担任上海人工智能实验室主任兼首席科学家。

2017年，周伯文从IBM公司离职回国，加盟京东担任副总裁，负责京东AI研究与平台部相关业务，后来还担任京东技术委员会主席。衔远科技是周伯文离职创业的第一站。周伯文主管衔远科技期间，于2022年5月受聘为清华大学电子工程系长聘教授、清华大学惠妍讲席教授。

周伯文在开幕式上谈及AI治理话题，他说，公众对AI风险的担忧，首先是数据泄露、数据滥用以及版权争议，其次是恶意使用AI带来的深度伪造、虚假信息等使用风险，AI还有可能诱发偏见、歧视等伦理问题，并且对就业市场等带来系统性挑战。

“AI风险有的已经出现，但更多是潜在防范。”但周伯文发现，当前业界对AI安全的投入远远落后于AI能力提升，资源投入上，世界上99%的算力用于模型的预训练，只有不到1%用于AI对齐，导致AI的发展是不均衡的。为确保智能向善，统筹发展与安全是紧迫任务。对此，需要找到既能保证AI安全优先，但又能实现AI能力长期发展的技术体系。

周伯文在世界人工智能大会开幕式上发表演讲

周伯文认为，可信AGI需要满足“泛对齐”“可干预”和“能反思”三项要求。他说，一旦构建起可信AGI，追求AI安全性与卓越性的平衡，“那么AI就能像为人类带来丰富清洁能源的可控核聚变技术一样”。

去年参加南方都市报举办的2023世界人工智能大会“人工智能创新与治理”论坛时，周伯文指出，可信赖AI的建构，要贯穿其全生命周期，不仅仅只着眼于中间的算法开发阶段，而应涵盖从设计初期的用户需求考量到最后的产品交互阶段。这一领域由于各方关注点不同，存在很大的空白区域有待探索，需要学术界、工业界和政府监管部门的共同努力。

采写：南都见习记者 杨柳