文章推介 | 面部表情和隐喻性手势对二语情绪负载词习得的影响

面部表情和隐喻性手势对二语情绪负载词

习得的影响

王兴隆 亢世勇

鲁东大学

摘 要

基于一项实验，本文集中研究了面部表情和隐喻性手势对二语情绪负载词习得的影响。结果显示：1) 有伴语模态 (面部表情、隐喻性手势、面部表情+隐喻性手势) 的整体促学效果显著优于无伴语模态；2) 面部表情+隐喻性手势、面部表情的促学效果均显著优于隐喻性手势， 但前二者之间并无明显差距；3) 情绪效价可以调控面部表情、面部表情+隐喻性手势的促学表现。相较于积极效价词，目标词为消极效价词时，面部表情、面部表情+隐喻性手势的促学效果更优。论文最后从语义加工-具身情绪体验关系、多感官统合理论、“注意”机制、情绪效价的偏向观及激活模式等方面进行了讨论。

1.引言

人类主要通过情绪词来表征、传递语言中的情绪信息(Hinojosa et al. 2020)。情绪词包括情绪标签词(emotion-label words)与情绪负载词(emotion-laden words)(Pavlenko 2008)。情绪负载词一般通过连接相应的情绪标签词来引发情绪效应(Altarriba & Basnight-Brown 2011)。例如，理解情绪负载词“挂科”“表扬”，个体首先会联想到相应的具身经历或概念体验，然后介引出“失落”“高兴”等情绪标签词。不过，以往研究多聚焦于一语/二语情绪标签词或笼统意义上的情绪词(Wang et al. 2019)，对二语情绪负载词的集中关注较少，因此，有必要专门对其进行深入研究。另一方面，人类在言语过程中经常会伴随一些面部表情及手势，也对他人的伴语(co-speech)面部表情及手势特别敏感(Kretetal. 2013)，二者往往一起出现，互相协同，如悲伤表情通常伴随以手掩面手势，愤怒表情则一般伴随握紧拳头。近年以来，面部表情及手势等伴语模态日益受到二语学界的重视，逐渐成为前沿课题，相关问题也亟需进一步探究。

2.文献综述

2.1二语情绪负载词相关研究

早先，情绪词研究主要聚集于一语/母语情绪负载词与情绪标签词的情绪激活(emotional arousal)和加工机制。近年来的研究开始从一语转向二语，如黄月等(2023)一些学者分别探索了情绪效价、内感受对二语情绪词加工的影响，但这些研究多属于二语词汇认知加工实验，而非二语词汇习得范畴，前者目标词为熟词，后者则是陌生词，二者的任务与机制也有较大差异。可见，目前学界仍鲜有二语情绪词习得方面的研究，此方面的探索亟需展开。Winskel(2013)曾采用经典的情绪Stroop范式考察了双语者对泰语、英语(母语)情绪负载词的加工，发现只有母语词的颜色反应受到了情绪干扰，二语词并没有，这反映了二语情绪负载词的情绪激活机制更复杂，激活难度更大。此外，与情绪标签词不同，情绪负载词中的情绪信息虽然是词义信息的一部分，但却是“内隐”的，它并不构成词义的外显内容，所以，进一步探寻二语情绪负载词习得的机制与规律，既有必要，也更有意义。近年来的研究发现，教学者的面部表情、手势与口语可共同促成二语学习者的视听多模态输入通道(李琳 2022;马赛等 2022)，由于伴语面部表情、手势(尤其是隐喻性手势)可能自带情绪效价，这对激活情绪负载词的情绪信息有一定帮助，由此，二者可能会对提高二语情绪负载词习得效果发挥积极作用，这是将来值得关注的一个研究进路。

2.2伴语面部表情相关研究

伴语面部表情的早期研究集中于认知实验领域，如Meerenetal.(2005)发现，微笑、沮丧的面部表情能够分别激活受试的积极、消极情绪。后续研究发现，这种激活效应是双向的，例如，Niedenthal et al. (2009)基于肌电扫描仪的研究发现，当分别呈现积极、消极情绪标签词时，受试面部肌肉也相应呈现出喜悦、厌恶表情。接着，这项研究被拓展、应用到词汇语义加工范畴，如Havas et al. (2010)的实验显示，积极(喜悦)、消极(皱眉)的面部肌肉活动可分别促进积极、消极情绪标签词的语义加工，这说明，伴语面部表情与情绪标签词语义加工具有效价一致性效应(Huerta-Chavez & Ramos-Loyo 2024)。但上述研究多属于一语/母语词汇认知或语义加工实验，并非二语词汇习得范畴，并且，其实验目标词多为情绪标签词，鲜有涉及情绪负载词的研究。因此，伴语面部表情对二语情绪负载词习得是否也具有积极影响呢？目前该问题尚缺乏明确解答，相关研究仍需进一步展开。

2.3伴语手势相关研究

伴语手势主要包括标志性手势与隐喻性手势。整体来看，已有研究在标志性手势的二语具体词习得效应、隐喻性手势的二语抽象词习得效应方面取得了丰硕成果，但在二语情绪词习得方面却鲜有涉及。标志性手势主要对具体词进行象似性模拟，大量实验证明了其在二语具体词促学方面的优异表现。如 García-Gámez & Macizo (2023)的西班牙语二语词汇习得实验显示，无论是“看”教师的手势还是亲自“做”手势，标志性手势的促学表现均显著优于无手势。隐 喻性手势一般通过手势(喻体)与抽象词(本体)建立映射关联。同样，很多二语 词汇习得实验也支持了隐喻性手势的促学性。例如，Repetto et al. (2017)发现伴随隐喻性手势的二语抽象词习得效果甚至优于图片促学。遗憾的是以上研究极少涉及二语情绪词。不同于普通词，情绪词一般含有积极/消极情绪信息或效价，进而，同一隐喻性手势(以消极效价为例)既可以指向情绪词的词义内容(He is so unhappy today/伴随手臂、手掌远离自己)，也可指向其情绪效价(I fail a course/伴随手臂、手掌远离自己)。不过，由于情绪标签词的词义内容本身就是 情绪信息，情绪负载词则通过词义激活其所负载的情绪效价，所以，如果将隐喻 性手势作为情绪标签词的伴语形式，可能会引发机械性词义猜测效应，从而不利于更加完整、科学地考察手势促学效应。因此，专门探究隐喻性手势对二语情绪负载词的影响就显得更为必要。

2.4伴语面部表情和伴语手势的对比研究

也有研究聚焦于伴语面部表情和手势在情绪信息识别方面的重要性对比。例如，Hietanen & Leppänen (2008)证实了手势对情绪信息识别的重要作用，Aviezer et al. (2012)认为面部表情才是情绪信息识别的主体。康铁君等(2022)则认为二者的有效协同才能更好地传递情绪信息。不过，这些研究多属一语/母语认知加工实验。目前，还鲜有伴语面部表情、手势、面部表情+手势三者之间的二语情绪负载词促学效应对比研究，该研究能够有效探明面部表情和手势的个性化特征及各自优势，从而有助于进一步提高二语情绪负载词习得效率。

综上所述，本文拟以中国英语二语学习者为受试，集中研究伴语面部表情及隐喻性手势对二语情绪负载词习得的影响。对此，除了考察面部表情、隐喻性手势、面部表情+隐喻性手势对二语情绪负载词习得影响的对比情况，还将加入无伴语模态条件，以便于探究三者整体上对二语情绪负载词习得的影响。此外，二语情绪负载词拥有不同效价时，三者对其习得的影响是否有差异呢？该问题也需一并验证。

3.研究实验

3.1研究问题

本研究拟回答以下三个问题：1)有伴语模态(面部表情、隐喻性手势、面部表情+隐喻性手势)和无伴语模态对二语情绪负载词习得的影响整体上有何差异？2) 面部表情、隐喻性手势、面部表情+隐喻性手势对二语情绪负载词习得的影响分别有何差异？3)目标词情绪效价是否调控面部表情、隐喻性手势、面部表情+隐喻性手势对二语情绪负载词习得的影响？

本实验采用4(学习方式)×2(情绪效价)两因素混合实验设计，学习方式为组间自变量，共有四个水平：面部表情、隐喻性手势、面部表情+隐喻性手势、无伴语模态。目标词情绪效价为组内自变量，共有两个水平：积极效价、消极效价。因变量为词语回忆正确率、词义识别正确率及反应时。

3.2受试

受试为130名中国英语学习者，平均年龄20.8岁，视力或矫正视力正常，学习英语的平均时间为11.3年，均已通过英语四级。他们被分为五个小组，每组26人，然后接受了满分为60分的牛津快速分级测试(Quick Placement Test)，评分之后，分别去掉得分最高、最低的15人，然后对剩余的100份成绩进行方差分析(Analysis of Variance)，发现五个小组之间的分数并无显著差异，F(4，95)=0.462，p=0.763。随机选择四个小组的80人参加正式实验，另一小组的20人作为同等水平非实验人员参与实验材料审查等任务。

3.3实验材料

从《牛津高阶英汉双解词典》(第八版)中选出30个(积极、消极词各15个)较为生僻的英语情绪负载词，选择标准主要参考了Pavlenko (2008)、Altarriba & Basnight-Brown (2011)对情绪负载词的界定。请同等水平非实验人员辨认并替换熟悉词，接着请他们进行熟悉度评分(1为非常陌生，7为非常熟悉)、效价(1为非常消极，9为非常积极)评分及唤醒度1(1为非常弱，9为非常强)评分。独立样本t检验发现，积极、消极效价词之间的熟悉度、唤醒度差异并不显著(p>0.05)，效价差异极其显著(p<0.001)。从英语国家语料库(https://www.english-corpora.org/bnc/)中获取词频数据，对两组词汇的词长(字母数)、音节数和词频(每百万)进行统计、检验，发现以上各项均无显著差异(p>0.05)。最终确定了30个英语目标词：积极效价词为idyllize, furbish, soothe, vivify, nurture, effulge, savor, rectify, jasper, plenitude, faerie, nectar, erudition, paragon, euphony。消极效价词为enslave, lacerate, traduce, falsify, desecrate, wither, extort, inveigle, sewage, mayhem, fetor, acedia, miscreant, sleaze, tsunami。两组词中动、名词的比例一致，且均配备了通俗易懂的汉语译词。目标词属性见表1。

根据进化心理学中的“趋利避害”观，人类“手臂伸直或弯曲会自动传递危险或安全的信号”(Friedman & Förster 2000)，二者分别代表“推开”与“接纳”身外之物，进而演化出“靠近自己-积极效价”和“远离自己-消极效价”的隐喻性手势 (康铁君等 2022)。本实验隐喻性手势的操作即遵此进行。教学刺激材料均为呈现在电脑屏幕上的目标词、汉语译词及持续 10s 的教学视频。视频截图参看图 1(每组图左为积极效价词，右为消极效价词)，具体程序参看 3.4。视频内容为：1)面部表情组包括匀速的目标词、译词口语发音，同时伴随根据目标词情绪效价所流露出的喜悦 (积极)、沮丧 (消极) 面部表情。每个目标词重复两次 (下同)；2) 隐喻性手势组包括匀速的目标词、译词口语发音，同时伴随根据情绪效价所演示的手臂趋近身体 (积极)、远离身体 (消极) 动作；3) 面部表情+隐喻性手势组叠加以上两组程序；4) 无伴语模态组只包括匀速的目标词、译词口语发音。3 名国际中文教师及 20 名同等水平非实验人员对各组手势、表情等的一致性、区分度进行了把控，如存在误解或干扰可能，则对教学视频进行重新录制，直到他们一致确认了视频内容的规范性与合理性。

3.4 实验程序

本研究参考了 Repetto et al. (2017) 的实验程序。教学刺激环节基于 E-prime 2.0 进行，实验前，主试讲解实验流程，并提供 5 个非目标词练习试次。实验时，受试端坐在距离电脑屏幕前 50cm 位置，首先，屏幕中央呈现一个“+”注视点，800ms 后消失，然后分别呈现相应刺激画面。每个小组共呈现 30 个画面，每个画面持续 10s，目标词 (红色) 在屏幕左上角，译词 (黑色) 在屏幕右上角，教学视频置于屏幕中间靠下位置。画面切换前屏幕中央呈现一个 1000s 的“+”注视点。

教学刺激材料呈现时，受试的任务是理解、识记目标词。面部表情组须聆听目标词与译词的口语发音并认真观察、体会教师的面部表情，隐喻性手势组须聆听目标词与译词的口语发音并认真观察、理解教师的隐喻性手势，面部表情+隐喻性手势组须同时执行上述两项任务，无伴语模态组须聆听目标词、译词的口语发音。教学刺激持续约 6 分钟，共三轮，两轮在上午 (隔 5 分钟)，另一轮在下午。为避免顺序效应，每轮目标词呈现顺序已随机调整。

教学刺激环节完成后，休息 15 分钟，接着进行词语回忆、词义识别测试，词语回忆任务要求受试在 10 分钟内尽可能多地写出目标词，每个 1 分，共 30 分。词义识别任务要求受试从屏幕左上角、右上角的两个备选翻译词 (黑色) 中通过按键 (Q 或 P) 选出目标词的正确词义，目标词置于屏幕中央 (红色)，正确答案位置已进行平衡。为避免机械记忆效应，备选项译词是与教学译词不同的另一同义词，它们均为经过熟悉度确认的常见词。

4. 实验结果

通过对实验数据的整理、统计，可得出表 2、表 3、表 4 的描述性统计结果。剔 除反应时大于2.5 倍标准的极端反应试次 ( 剔除率小于 5%)，采 用SPSS22.0 对词语回忆分值、词义识别正确率及反应时数据进行 4 (学习方式) ×2 (情绪效价) 的两因素方差分析。

4.1 有伴语模态组和无伴语模态组的表现

1) 词语回忆分值方面。将各有伴语模态组 (面部表情、隐喻性手势、面部表情+隐喻性手势) 的成绩进行整合，形成整体平均分，然后与无伴语模态组进行独立样本 t 检验，结果显示 t = 5.957，p < 0.0005，各组整体平均分明显高于无伴语模态组；2) 词义识别正确率方面。将各有伴语模态组的整体平均数据与无伴语模态组进行独立样本 t 检验，结果显示 t = 14.403，p < 0.0005，前者正确率明显高于后者；3) 词义识别反应时方面。将各有伴语模态组的整体平均数据与无伴语模态组数据进行独立样本 t 检验，结果显示 t = -3.555，p < 0.05，前者反应时明显短于后者。这表明，有伴语模态的整体表现显著优于无伴语模态。

4.2 面部表情组、隐喻性手势组、面部表情+隐喻性手势组的表现

1) 词语回忆分值方面。学习方式的主效应显著，F(3,152) = 13.036，p <0.0005。事后多重比较发现，面部表情+隐喻性手势组、面部表情组的得分均显著高于隐喻性手势组，且前两组之间并无显著差距；2) 词义识别正确率方面。学习方式的主效应显著 2， F(3,140) = 76.329，p < 0.0005。事后多重比较发现，面部表情+隐喻性手势组、面部表情组及隐喻性手势组的正确率之间并无显著差距(ps > 0.05)；3) 词义识别反应时方面。学习方式的主效应显著， F(3,140) = 11.189，p < 0.0005，事后多重比较发现，面部表情+隐喻性手势组与面部表情组的反应时明显最短，二者无显著差距 (p > 0.05)，且均明显 (p < 0.05)短于隐喻性手势组。这表明，面部表情+隐喻性手势组、面部表情组的整体表现优于隐喻性手势组。

4.3 情绪效价调控面部表情组、隐喻性手势组、面部表情+隐喻性手势组的表现

1) 词语回忆分值方面。学习方式与情绪效价的交互效应不显著，F(3,152) =1.117，p > 0.05。不过，在面部表情+隐喻性手势组中，消极效价词的得分仍明显(p < 0.05) 高于积极效价词，并且在面部表情组，消极效价词的得分也高于积极效价词，且显著性达到了边缘性水平 (p = 0.079)；2) 词义识别正确率方面。学习方式与情绪效价的交互效应边缘性显著，F(3,140) = 2.342，p = 0.076。面部表情+隐喻性手势组中，消极效价词的正确率明显 (p < 0.05) 高于积极效价词，面部表情组中，消极效价词的正确率也明显 (p < 0.05) 高于积极效价词，但隐喻性手势组中，二者并无显著差距 (p > 0.05)；3)词义识别反应时方面。学习方式与情绪效价的交互效应不显著，F(3,140) = 1.430，p > 0.05。这表明，情绪效价可以调控面部表情、面部表情+隐喻性手势对二语情绪负载词习得的影响。相较于积极效价词，目标词为消极效价词时，面部表情、面部表情+隐喻性手势的促学效果更优。

5. 讨论

根据具身语义观，情绪体验信息本身就是语义系统的重要元素，并且会参与语义的构建与表征 (Dijkstra & Post 2015)。因此，通过阐释有关变量对目标词情绪效价的激活程度或强度，即可检验其词义加工程度及习得效果。

5.1 有伴语模态 (面部表情、隐喻性手势、面部表情+隐喻性手势) 和无伴语模态对二语情绪负载词习得的影响

词语回忆分值、词义识别正确率及反应时数据显示，面部表情、隐喻性手势、面部表情+隐喻性手势的二语情绪负载词整体习得效果显著优于无伴语模态。首先，该研究结果印证了多感官统合 (multisensory integration) 优势效应，它指的是将来自不同感官的信息编码为统一、互补信息的过程，经过多感官编码的词汇往往比单感官编码更具记忆优势 (Yu et al. 2022)。本文中，面部表情、隐喻性手势、口语及译词共同促成了多感官统合的信息加工模式，因此，当口语理解出现困难时，受试就可以借助伴语模态进行信息代偿以提高摄入 (intake) 信息的完整度、准确性；其次，本实验进一步完善了 Brase & Mani (2017) 关于有伴语模态比无伴语模态更能提高二语情绪标签词习得效果的结论，将适用范围进一步拓展到情绪负载词。并且，本文研究扩大了伴语模态的范围，证明了隐喻性手势也能取得同样促学效果。这主要是因为受试也可通过手势“趋利避害”的隐喻图式关联到目标词的情绪效价上，此时，他们就能进一步基于镜像神经系统激活自身的相应内感受系统 (interoceptive system) (王兴隆、亢世勇 2024)，从而也能产生感同身受般的具身情绪体验，并据此进一步促进对目标词的加工及习得。

5.2 面部表情、隐喻性手势、面部表情+隐喻性手势对二语情绪负载词习得的影响

由数据可知，面部表情+隐喻性手势组、面部表情组的二语情绪负载词习得效果显著优于隐喻性手势组。首先，为什么面部表情比隐喻性手势更有促学优势呢？对此，我们比较认同 Oh Kruzic et al. (2020) 的观点，即学生对教师面部表情的关注度大于手势，前者更能吸引学生的有意注意，而注意资源的增多则意味着认知加工深度的增加，这是将信息从输入转为摄入的重要基础。并且，在观察到隐喻性手势后，受试必须进行隐喻加工、逻辑转换才能将隐喻图式与情绪效价建立关联，相对来说，这势必会影响情绪信息的激活速度与质量。需要注意的是，虽然面部表情+隐喻性手势叠加了两种伴语模态，但与面部表情比较，却并未表现出显著优势。相关研究 (Hietanen & Leppänen 2008；Aviezer et al. 2012) 显示，手势与面部表情搭配时，多模态之间经常会发生彼此干扰及认知资源争夺现象 (王兴隆等 2022)，这反而增加了部分受试的内在认知负荷，从而最终会削弱多伴语模态的整体效应。此外，面部表情与隐喻性手势的情绪效价激活模式截然不同，前者是基于具身生理反应的“直接激活”，后者则需借助隐喻映射策略进行“间接激活”，这会在一定程度上抑制伴语模态融合的通畅程度，从而最终影响了部分目标词的加工质量与习得效率。

5.3 情绪效价调控面部表情、隐喻性手势、面部表情+隐喻性手势对二语情绪负载词习得的影响

数据显示，情绪效价对面部表情、面部表情+隐喻性手势的二语情绪负载词习得影响具有明显调控性。情绪效价对词语习得的影响方面，学界大致存在积极偏向观、消极偏向观及无偏向观 (王兴隆、亢世勇 2024)。但上述观点均是无伴语模态条件下的结论，本文进一步证明了在有伴语模态时情绪效价对目标词习得的影响情况：面部表情、面部表情+隐喻性手势条件下，消极效价词的习得效果明显优于积极效价词，而隐喻性手势条件下，消极、积极效价词的习得效果并无明显差距。这进一步丰富了情绪效价对词语习得影响的研究。消极偏向(negative bias) 是在人类漫长进化过程中形成的一种稳定心理及神经机制，这是因为避免消极刺激 (如危险、威胁) 比追求积极刺激更基础、更迫切 (Norris 2021)。本实验中，消极面部表情输出的是消极刺激，比积极面部表情更能吸引警觉性注意，有助于受试产生更快、更深的消极情绪体验，从而进一步促进了消极效价词的加工与习得。然而，消极偏向为什么在隐喻性手势中的表现并不突出呢？由于其与情绪效价的关联是间接的，情绪激活速度、质量均不如面部表情，这会抑制具身体验情绪的产生，并由此进一步弱化或缩小积极、消极效价词习得效果之间的差距。

6. 结语

本文通过实验集中研究了伴语面部表情及隐喻性手势对英语二语情绪负载词习得的影响。实验结果显示：1) 有伴语模态 (面部表情、隐喻性手势、面部表情 + 隐喻性手势) 的整体促学效果显著优于无伴语模态；2) 面部表情 + 隐喻性手势、面部表情的促学效果均显著优于隐喻性手势，但前二者之间并无明显差距；3) 情绪效价可以调控面部表情、面部表情+隐喻性手势的促学表现。相较积极效价词，当目标词为消极效价词时，面部表情、面部表情+隐喻性手势的促学效果更优。

另外，本文发现无论是否搭配隐喻性手势，面部表情均是二语情绪负载词习得过程中的高效伴语模态，且对消极情绪负载词的促学效果更佳。限于篇幅，本实验并未涉及初级、高级水平二语学习者，也未考察目标词习得的延时效果，因此，有关问题尚需进一步探讨。

免责声明：原文载于《现代外语》2025年第6期，版权归作者所有，如有侵权，请及时联系删章。

转载自：外语教师研究与专业发展公众号