云图智能研究院院长何伟发布《多模态融合交互技术白皮书》

2022世界人工智能大会以“智联世界 元生无界”为主题，于9月1日--9月3日在上海盛大开幕。

世界人工智能大会（WAIC）经国务院批准，由国家发展和改革委员会、工业和信息化部、科学技术部、国家互联网信息办公室、中国科学院、中国工程院、中国科学技术协会和上海市人民政府共同主办。

本届大会举办了1场开幕式、2场全体会议、1场闭幕式，累计举办121场活动，构建了“会、展、赛、用、才”五大板块活动矩阵，浦江两岸多地协同，海内海外同频共振。这次大会论坛覆盖了技术创新、产业应用、法治伦理和生态建设四大领域，涉及30多个专业方向，包含“AI+元宇宙”、生成式AI、可信AI、脑机接口等当前人工智能全球热点议题。期间，25个人工智能产业项目签约，总投资近150亿元。大会汇聚了国内外人工智能领军学者、知名企业家、国际组织代表等重量级嘉宾500余位(其中图灵奖得主4位，诺贝尔奖、菲尔兹奖、马尔奖得主各1位，80余位国内外院士、20余位国内外顶尖高校校长，以及百度、华为、高通、Meta、星汉云图等400余位国内外行业组织代表和企业家) 旨在充分把握人工智能与元宇宙相融互促的发展趋势，连接汇聚世界人工智能最新观点和成果，传递无界共生的创新理念。

图：2022世界人工智能大会发布《元宇宙多模态融合交互技术白皮书》

人工智能是新一轮科技革命和产业变革的重要驱动力量，要推动我国新一代人工智能健康发展。2022年9月2日，在2022世界人工智能大会（WAIC）元宇宙科技探索峰会上，云图智能研究院院长、星汉云图董事长暨白皮书主编何伟，于上海浦东张江科学会堂重磅发布《多模态融合交互技术白皮书》（又名《2022元宇宙多模态融合交互技术白皮书》或《元宇宙多模态融合交互技术白皮书》，以下简称白皮书）。

图：主编何伟在2022世界人工智能大会发布《元宇宙多模态融合交互技术白皮书》

他介绍，《多模态融合交互技术白皮书》，由中国工程院院士庄松林担任指导专家，中国工业经济联合会党委书记、执行副会长兼秘书长、国家制造强国建设战略咨询委员会委员、国家新材料产业发展专家咨询委员会委员熊梦担任专家顾问，云图智能研究院、北京星汉云图文化科技有限公司作为发起单位，联合中华国际科学交流基金会、武汉元宇宙研究院、全国科学技术名词审定委员会元宇宙术语研究中心、北京工业大学、北京信息产业协会、上海市多媒体行业协会、中关村数智人工智能产业联盟、浙江清华长三角研究院（知识产权中心）为起草单位，在中国科技新闻学会、中关村虚拟现实协会、北京反侵权假冒联盟、安达高教研究院、西藏元宇宙研究院、内蒙古虚拟现实（VR）研究院支持下，组织全国六十余位来自于科研院所、高校和产业界的专家、学者、院士，由主编何伟，联合主编龚才春、端木海婴共同起草、编写。

据悉，白皮书全篇共分为5章27节，分别从多模态融合交互技术的定义、多模态融合交互技术关键技术（计算机视觉技术、自然语言处理技术、生物识别技术、智能传感器技术、脑机接口技术等）、多模态融合交互技术典型应用产业与场景（安防、金融、零售、交通、教育、医疗、制造、健康等）、发展等多个维度进行了梳理和深度分析，同时强调人工智能多模态融合交互技术开放平台的重要性，以及多模态技术面临的挑战与契机。

图：《元宇宙多模态融合交互技术白皮书》目录

所谓“模态”（Modality），是德国生理学家赫尔姆霍茨提出的一种生物学概念，即生物凭借感知器官与经验来接收信息的通道，例如人类有视觉、听觉、触觉、味觉和嗅觉模态。模态的范围要比我们的感知能力更宽泛，除了视觉、听觉获得的模态信息，我们也可通过生物的肌电信号、心率、脑电波等，或者利用传感器获得诸如雷达、红外线等不同感应数据的模态信息。多模态技术，旨在融合处理多模态信息，获得更好的交互体验、更强的机器学习和推理能力。多模态技术将贯穿未来几乎所有的行业和领域，颠覆我们的认知，在数字经济时代强有力的推动下，人机交互迎来了科技发展史上创新融合的大变革。

“键鼠交互”开启了PC时代，“触控交互”打开了移动互联网时代的大门，智能交互改变了我们与机器互动的方式，重新定义了我们与机器的关系。白皮书主编何伟表示，创新融合的变革——多模态融合交互将重新定义“下一代互联网”，也将带来新一轮信息技术革命浪潮，同时他也认为，多模态融合交互技术将有可能成为元宇宙技术领域可行性突破的高地堡垒争夺地。

我国社会经济发展正在进入了以人工智能为核心的智能数字经济时代，元宇宙将成为数字经济未来发展的重要载体和综合场景。作为数字技术发展到一定程度的集成运用，元宇宙或将推动实体经济与数字经济加速深度融合，实现生产方式变革、生活模式跃迁和治理理念革新的发展形态。数字经济时代的经济基础和基础建设将在三个层面带来变化，智能终端未来将呈规模性增长，人和终端的多模态智能交互融合，以及数据信息和服务场景化。除此之外，智能经济还会催生许多新兴行业，实现产业智能化，形成“数据驱动、人机协同、跨界融合、共创分享”的智能数字经济形态。

图：多模态融合交互主要研究路径及方向

针对《多模态融合交互技术白皮书》的发布，白皮书指导专家，中国工程院院士庄松林提出，“白皮书对各界了解、学习、研究多模态及其融合交互技术的应用，具有里程碑意义。”

白皮书专家顾问，中国工业经济联合会党委书记、执行副会长兼秘书长、国家制造强国建设战略咨询委员会委员、国家新材料产业发展专家咨询委员会委员熊梦指出，“该白皮书的发布，从技术角度对关心工业经济向数字经济升级转型研究者予以启示，为我国工业经济拥抱数字技术提供了很好的切入口。”

白皮书编委会成员将致力于构建万物互联的交互世界，通过多模态融合交互技术推动元宇宙产业快速发展，同时，希望更多的专家、学者参与进来，弯道超车，为多模态融合交互技术的发展贡献力量。

多模态融合交互将开启交互世界的新革命，让人机交互像人与人交流一样自然！

附《元宇宙多模态融合交互技术白皮书》编委会名单：