黑龙江
随着教育信息化快速发展，在线学习已成为大学生获取知识的重要途径之一。然而，与传统面对面教学方式相比，在线学习环境中师生互动减少，大学生情感状态难以被及时感知，间接影响学生学习效果及教学质量。情感分析技术在精准掌握和理解学习者心理状态、情感表达、行为转化等方面发挥着无可替代的作用，将其应用于大学生在线学习领域会对当前的大学生在线学习困境产生意想不到的改善效果。在此背景下，如何构建大学生在线学习情感分析模型成为高校解决的命题之一，多模态数据融合技术能够为解决这一问题提供新的思路和方向，为大学生在线学习构建更加智慧、包容的环境和氛围，为高等教育高质量发展注入新动能。
采集数据，构建情感分析模型基础。高校可以通过采集文本、语音、视频三个维度的数据，全面捕捉学生的情感变化，确保数据来源的多样性和代表性。采集文本数据，文本数据是反映大学生在线学习情感的重要来源之一，各高校可以采集大学生在在线学习平台上发表的课程评论、论坛交流和即时通讯记录等文字内容，利用爬虫技术过滤掉无效文本，对有用数据进行结构化整理，同时精准记录每条文本数据的采集时间，便于后续与其他模态数据对齐。采集语音数据，语音数据作为一种重要的模态数据，在大学生在线学习情感分析中扮演着关键角色。利用麦克风或头戴式耳机等智能设备录制学生在线学习过程语音，同时借助相关技术确保录音环境的噪声干扰最小化，以便精准捕捉学生的语调、音强、语速等声学特征，进而分析学生在特定时间段的情感状态。采集视频数据，视频数据能够提供关于大学生在线学习过程中的面部表情、身体姿态以及眼神动态等多维度信息，为情感分析提供丰富的视觉线索。在在线教育场景中，通过智能摄像头设备实时捕捉学生情感变化的外在表现，作为多模态数据中的视频数据资料，同时兼顾技术实现与伦理规范，明确视频的采集获得用户的知情同意，并对涉及个人隐私的部分进行匿名化处理。
处理数据，是提升情感分析模型性能的关键环节，高校需要针对不同模态数据的属性和特点对其开展针对性的清洗、标注工作。清洗数据，数据清洗是实现多模态数据融合不可或缺的一步，其主要目的是去除噪声数据、重复数据和无意义数据，有效提高数据的质量和可用性。具体而言，对于文本数据，清洗过程包括去除无效回复、标点符号及明显存在格式错误的内容；对于语音数据，需要通过信号处理技术去除数据中的背景噪声和环境干扰；对于视频数据，则需要进行帧率调整、图像增强和剔除异常帧的清洗操作。此外，为显著提升模型的训练效率和预测准确性，还需要关注各模态数据之间的一致性，为后续多模态融合分析提供便利。标注数据，数据标注是将采集的多模态数据转化为可用于模型训练形式的关键步骤。在这一过程中，高校应当邀请领域专业人士对清洗后的数据进行或高兴、或惊奇、或生气、或困惑等类别的情感标注，以确保标注结果的准确性和专业性。此外，借助深度学习技术，将半监督学习、弱监督学习等方法应用于数据标注工作，以此来减少人工标注成本，同时为模型训练提供更高质量的数据基础。
构建模型，核心在于设计有效的多模态融合机制。多模态数据融合下大学生在线学习情感分析模型的整体架构可以分为特征提取模块、融合模块和情感分析模块三大主要模块，各模块通过双向信息流实现高效协同工作，确保模型的整体性能达到最优。特征提取模块，对于文本模态，可以选用双向门控循环单元模型进行特征提取工作，以便捕捉上下文之间的依赖关系，此外如果不考虑成本问题，可选用双向编码器表示模型理解文本中的复杂语义；对于语音模态，则可以采用1D卷积神经网络模型来进行声学特征提取工作；对于视频模态，可使用3D卷积网络进行特征提取工作，进而处理连续帧的面部表情变化。融合模块，采用分层交互融合策略，通过注意力机制将不同模态的特征进行深度融合，以此来增强后续情感识别工作的精准性。情感识别模块，利用全连接层结构对融合后的数据特征进行分类，并输出学生的情感状态概率分布状况，进而对大学生的在线学习做出较为科学、全面、精准地情感分析。
本文系2024年湖南省职业院校教育教学改革研究项目“基于多模态数据融合的学习情感计算及应用研究”（编号：ZJGB20245
27）。
（作者单位：湖南开放大学）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
