Frontiers系列：戴口罩对表情识别、情感阅读和声音信息的影响

1. 口罩对面部表情识别的影响：对基本情绪感知的真实研究

由于新冠肺炎大流行，用于覆盖口鼻处的口罩成为日常佩戴物品，与情感表达相关的面部区域中约有60-70%被隐藏起来。这一日常生活的变化引发了对蒙面人面部情绪感知的相关研究。这些研究大多通过展示一张张情绪化的面部图像，图像面部将口罩叠加在鼻口区域。这些相关研究的一个常见发现是，微笑情绪识别变得不那么明显。

图1. 实验试次示意图，展示了两个戴口罩和不戴口罩的演员的面部表情。

图2. 未蒙面和蒙面微笑的平均诚实评级, 分别为诚实（Duchennne）和不诚实（social）微笑。

本研究的目的是通过生态上有效的程序，即通过情感面部表情的视频序列，重新探究针对蒙面人面部的情绪感知。本项研究的结果重复出了佩戴口罩相关静态图像中收集到的许多证据，此外，结果还发现了与现有研究相比的关于微笑感知的根本差异，这些差异比之前的研究所暗示的要小，戴口罩后“不诚实”（即社交）微笑的表达方式更容易被识别，可能是由于口罩的运动（即抬高）。这一发现与现有静态图像的研究不一致，这些研究报告称，蒙面微笑被视为中性表达。但无论如何，诚实的微笑是最容易感知的情感。

参考文献：Leitner, M. C., V. Meurer, F. Hutzler, S. Schuster and S. Hawelka (2022). "The effect of masks on the recognition of facial expressions: A true-to-life study on the perception of basic emotions." Frontiers in Psychology 13.

2. 戴口罩在阅读情感方面会使同行感到困惑

戴口罩是预防某些呼吸道疾病传播的重要手段之一，如新型冠状病毒（COVID-19）。虽然西半球对此类口罩的接受程度正在增加，然而，口罩也覆盖了人脸的主要部分，这可能会对社会互动产生至关重要的影响。在本实验中，我们测试了佩戴口罩对情绪可读性的影响。

参与者（N = 41，通过先验Power分析计算；随机招募18-87岁不同年龄阶段的健康志愿者）共评估了12张不同面孔表现出的情感表达。每张脸都随机呈现出六种不同的表情（愤怒、厌恶、恐惧、快乐、中立和悲伤），表情同时完全可见或部分被口罩覆盖。

图3. 一个没有戴口罩（A）和戴口罩（B）的人表现出的六种不同情绪。

结果发现，参与者对戴口罩图像评估所显示的情绪的准确性较低，信心较低，这表明情绪阅读确实因口罩的存在而受到影响。我们进一步检测到特定的识别混淆模式，主要在将厌恶的面孔误解为愤怒，以及将许多其他情绪（例如快乐、悲伤和愤怒）评估为中性的情况下。研究还讨论了即使相关的视觉信息严重减少后可以保持社交互动有效性的补偿行为（例如肢体语言、手势和语言沟通）。

图4. 表达和感知情绪的混淆矩阵。

参考文献：Carbon, C.-C. (2020). "Wearing Face Masks Strongly Confuses Counterparts in Reading Emotions." Frontiers in Psychology 11.

3. COVID-19口罩：面部和声音信息的障碍

随着新冠肺炎大流行，我们已经习惯了佩戴口罩，并发现戴口罩似乎会损害情感和语言识别。虽然过去已有几项研究通过在面部情感照片上添加口罩图像来进行面部情感识别，但在本研究中我们创建了一个视频数据库，其中演员们真实佩戴口罩，以在更生态的条件下测试其效果。

图5. 面部配件佩戴对视觉情感识别的影响。A, 视觉刺激; B, 客观和主观验证；C, 配件对视觉情感识别的影响; D, 混淆矩阵；E, 年龄和配件对视觉情感识别的影响。

在验证了演员表现出的情绪后，我们发现佩戴外科口罩损害了幸福和悲伤的识别，但不会影响中立情绪。此外，对幸福的影响效果是针对口罩的，而不是覆盖脸部下半部分，这可能是由于与外科口罩相关的认知偏见。

此外我们还制作了带有语音的视频，并测试了以听觉、视觉或视听方式显示时口罩对情感和语音识别的影响。在视觉和视听模式中，佩戴口罩损害了幸福和悲伤，但改善了中立性情绪识别。无论模式如何，佩戴口罩都会损害双唇音节的识别。此外，它仅以视听方式改变70岁以上参与者的语音识别。总体而言，COVID-19口罩主要损害除老年参与者之外的情感识别，也会影响语音识别，这可能是因为老年参与者更多地依赖视觉信息来补偿与年龄相关的听力损失。

参考文献：Aguillon-Hernandez, N., R. Jusiak, M. Latinus and C. Wardak (2022). "COVID-19 masks: A barrier to facial and vocal information." Frontiers in Neuroscience 16.