SIGS专业实践风采 | 杨思程：以创新研究赋能数字人，书写人工智能的新篇章

杨思程，2022年4月-2023年7月在华为技术有限公司完成专业实践，第九届专业实践奖一等奖获得者（校内导师：吴志勇，校外导师：李明磊）。2024年6月获得清华大学人工智能硕士专业学位。

作为清华大学深圳国际研究生院与华为技术有限公司校企联合培养的首届道元班成员，杨思程深入参与了“基于多模态表征学习的语音文本驱动数字人动作生成研究”。此项研究不仅深化了他对人工智能与机器学习的理解，也让他在实际应用中实现了理论到实践的飞跃。让我们走近杨思程的SIGS专业实践风采故事，聆听他在人工智能方面助力企业实现成果落地的心得与收获。

背靠一流企业

联合培养奠定坚实基础

杨思程的专业实践旅程

始于清华大学人机语音交互实验室

他的实践目标为

进行数字人领域的创新与研究

在保持公司紧跟行业内最新研究趋势

定期更新技术栈的同时

与团队成员共同实现项目交付

实践期间主要负责设计和搭建一个

基于运动匹配、对比学习和扩散模型的

共语手势系统

共语手势生成结果可视化

运动匹配是一种基于规则的技术

而对比学习和扩散模型

是依赖大数据的深度学习方法

每种方式都有其优劣

人工智能技术的发展

需要大量高质量数据

特别是在人体姿态的研究上

目前还缺乏公开的高质量数据集

因此，杨思程参与了

2D、3D、4D数字人动作数据集的

采集和处理工作

帮助为这一领域的研究

提供更好的数据支持

推动数字人技术的进步

这些研究成果将有助于

增强虚拟人的交互表现

例如在虚拟助手、游戏、影视特效等领域

让虚拟人物的动作更加自然和智能

与校内外导师、企业HR、企业领导讨论研究内容

为了更好地完成实践课题

杨思程与校内外导师、企业HR和领导

进行了深入的交流

共同讨论了项目的可行性、创新性

预期成果及当前面临的挑战和解决策略

通过16个月的深入研究和实践

杨思程与校内外导师共同推动项目深入发展

他的工作聚焦于共语手势生成技术

特别是在动作与语音

和文本的同步生成上取得了显著成果

帮助企业显著提升数字人交互体验

AI赋能未来

实践成果助力合作企业

杨思程在实践期间

在顶级国际会议上发表了五篇论文

申请专利两项（均在审）

并获世界人工智能创新大赛三等奖

（文本语音驱动数字人表情口型竞赛赛道）

和GENEA 2023手势生成挑战赛

“最佳复现奖”

3D 共语说话人表情生成

他的研究不仅解决了

数字人动作生成中的核心技术问题

还带来了经济效益

实验表明，提出的框架

在人类相似性（4.07 ±0.15）

和语音匹配度（3.77 ±0.21）方面

均达到了最先进的性能

研究提高了服务的吸引力和用户满意度

进一步推动了公司在AI市场的竞争力

已作为技术储备

未来有望应用于华为云服务中

获华为创新新星奖

基于其出色的表现

杨思程获得了华为云计算技术有限公司

架构与技术创新部“创新新星奖”

以及学院“学术新秀提名”奖

团队合作共建

平衡生活促进卓越共赢

“聚是一团火，散作满天星”

杨思程非常注重与团队的关系

他深知优秀的团队

不仅需要在工作中

展现出卓越的协同效应

也需要在工作之外

保持紧密的联系和良好的人际关系

他在紧张的研究与开发工作之余

他经常与同事们一同晚餐或参加体育活动

用轻松的社交方式加强团队凝聚力

杨思程与华为同事保持紧密联系

让杨思程印象最深的

是每次论文投稿前的高强度工作

那是一段让他快速成长的经历

每天凌晨才下班回学校得他

虽然辛苦，但却非常充实

“记得有一次我遇到技术瓶颈

幸好有导师李老师的耐心帮助

不仅协调实验室资源

还联系华为的EI创新Lab和2012实验室

与多个部门合作共同探索解决方案

这种跨部门合作

让我深刻体会到团队协作的力量

也让我快速提升了应对复杂问题的能力”

导师李明磊的支持和公司资源的协助

让杨思程更加坚定了自己的科研信心

实践明确志向

产业体验点燃探索决心

杨思程的校内外导师

均对其专业实践能力给予了高度评价

回顾这段难忘的经历

杨思程说自己最大的变化

在于对科研和工程项目流程的全面理解

和实际应对问题能力的提升

“从最初对科研流程的迷茫

到逐步掌握文献调研、提出创新点

编写代码、实验分析、论文写作的全过程

我在实践中成长了不少

参与企业合作项目时

我学会了高效处理数据和团队合作

团队的力量帮我们快速解决问题

这些经历让我从只懂理论的新手

成长为能应对实际挑战的学生”

杨思程还说

校企合作中的亲身经历和收获

是学院专业实践带给他最宝贵的财富

对他的职业生涯有着深远影响

在企业环境中

他真正体会到理论与实践之间的差距

“这种实践经验

让我有了更清晰的职业发展方向

同时了解了不同企业的文化

对未来择业有了更全面的思考

也让我对未来的职业发展更有信心”

杨思程的实践经历

不仅为他未来的学术生涯

奠定了坚实的基础

他和团队一同付出的汗水

也为数字人技术的发展

助力开辟新的道路

未来

他将深化在多模态人工智能领域的研究

进一步探索数字人技术的新边界

在全球人工智能发展中发挥更多作用

书写属于自己的辉煌篇章

编者栏：

专业实践是应用型的、理论学习与实际应用相结合的重要的教学必修环节，高质量的专业实践是专业学位教育质量的重要保证。我院自2010年开启专业实践管理的建设工作，以培养学生实践能力和职业素养为核心，以高效服务师生为原则，不断完善全流程实践管理体系，逐步形成了“促、管、评、比、赛”的实践管理流程，走出了一条有特色的工程人才培养道路。

我院2024年度共有近1100位专业学位研究生参加了各培养项目组织的初评答辩。最终，共有161名同学获得第九届专业实践奖，包括一等奖14名、二等奖28名和三等奖119名。

硕果累累！清华SIGS第九届专业实践评优结果揭晓！

他将海洋垃圾变成艺术作品，获全球设计大赛金奖！

为中国患者实现无创检测，他在实践中开启医工交叉的“盲盒”

来源|工程教育中心

素材/图片|杨思程、杨劭暕

编辑|叶思佳

审核|陈超群

排版|朱皓东