江西
近日，第十届开放环境下情感行为分析国际挑战赛（简称10th ABAW）最终成绩正式公布。云知声携手中国科学技术大学於俊副教授团队表现亮眼，在情绪模仿强度估计赛道（Emotional Mimicry Intensity Estimation，EMI）和动作单元检测赛道（Action Unit Detection，AU）中斩获冠军，在表情识别赛道（Expression Recognition，EXPR）中荣获季军，交出两冠一季的优异答卷。依托赛事技术成果，联合团队三篇创新论文也在CVPR2026Workshop正式发表，彰显国内团队在情感计算与多模态理解领域的强劲实力。
CVPR是计算机视觉领域全球知名会议，ABAW作为其核心专题赛事，聚焦开放环境人类情感行为分析，是情感计算领域极具影响力的国际竞赛。本届赛事设置表情识别、动作单元检测、情绪模仿强度估计等六大挑战性任务，吸引了全球各地高校、科研机构与科技企业同台竞技。人类情感行为分析依托视觉、语音、文本等多模态信息解读情绪与行为，是自然人机交互的核心方向，在智能助手、数字人、心理健康评估等领域拥有广阔应用前景。
多模态技术创新突破，攻克真实场景难点
针对开放环境下信号噪声、模态缺失、长时序依赖等行业痛点，联合团队针对不同赛道场景定制创新算法框架，实现技术突破。在情绪模仿强度估计（EMI）赛道，团队提出TAEMI框架，打破传统融合模式，将文本作为稳定语义锚点，通过文本锚定双交叉注意力机制完成视觉、语音信号对齐融合，搭配可学习缺失模态标记与模态随机丢弃策略，大幅提升模型在信号受损、模态缺失场景下的稳定性，该方案在Hume-Vidmimic2数据集上性能远超现有基线。
动作单元检测（AU）赛道方面，团队搭建层次粒度对齐与状态空间建模框架。该框架采用DINOv2、WavLM两大基础模型提取音视频特征，借助层次粒度对齐模块关联局部面部动作与全局语义，并引入Vision-Mamba架构实现线性复杂度的超长时序建模，结合语音引导状态空间机制，深度融合音视频线索，有效解决人脸姿态多变、长时序建模困难等问题。
补齐识别短板，完善技术体系布局
在表情识别（EXPR）赛道，团队聚焦视觉遮挡、模态缺失与样本类别不均衡三大难题，研发双分支Transformer框架。该框架通过双分支结构分别处理视觉、语音特征，利用交叉注意力实现跨模态交互；创新安全注意力机制，保障视觉信号缺失时模型可依托语音正常推理。同时，团队采用焦点损失函数缓解数据长尾问题，并结合滑动窗口软投票策略优化长视频预测效果，有效提升复杂场景下表情识别的准确率与鲁棒性，最终斩获该赛道季军。
长期以来，云知声与中国科大围绕多模态人工智能、情感计算开展深度产学研合作，持续推动技术落地。此次在ABAW赛事取得多项佳绩，既是双方技术积累的集中体现，也为开放环境情感行为分析提供了全新思路。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
