网易首页 > 网易号 > 正文 申请入驻

同济大学黄立鹤教授:多模态语言研究的理论与实践

0
分享至

胡壮麟先生在《与时俱进,永无止境——有关多模态和人工智能研究的若干认识》(《当代外语研究》2025 年第 1 期)一文中高屋建瓴地指出,从“口述时代”到“读写时代”,再到“工业化时代”,以及今天的“人工智能时代”,多模态贯穿始终;从远古时代人类的沟通,到今天人类使用先进的人工智能技术,多模态无时不在。总的来看,多模态与人的全面发展、人机交互的智能演化、人类文明传承创新等宏大命题都密切相关。多模态始终伴随人类语言演化史和文明发展史。语言交际研究的视野从单模态到多模态的转变,体现了崭新的语言观,反映了学界对语言交际本质的新认识。这对于语言交际相关的研究,可以说是一种范式革命。

多模态语言研究的理论与实践购买

黄立鹤 等 著

北京: 科学出版社, 2026. 9

ISBN 978-7-03-086570-0

多模态研究的兴起与发展,拓展了语言研究对意义建构与交际行为的认识。当前,多模态研究正处于发展的关键节点,不同理论传统与方法路径并存交织。随着研究对象与分析方法的不断拓展,多模态研究的概念基础与方法体系也受到越来越多的关注,并引发了学界对相关问题的进一步思考。著名多模态研究专家Charles Forceville(2026)近期指出,多模态研究若要进一步发展为成熟的学术领域,需要更加清晰地界定“模态”及其与感官知觉的关系。目前的多模态研究范式内部发展并不均衡,主流研究大多依附于社会符号学传统;要使多模态研究成长为人文社会科学领域的重要学科,还须拓展理论方法与分析框架。由此可见,多模态研究的深化不仅在于研究对象的增加,更在于对基本概念、研究路径及其相互关系形成更加系统的认识。

针对上述问题,《多模态语言研究的理论与实践》以语言交际的多模态本质为切入点,力图对多模态研究的最新发展作出阐释与指引。本书并不将多模态研究局限于某一特定分析方法,也不将其等同于语言学的单一分支,而是立足语言学的问题意识,将不同研究传统置于多模态这一共同视野下加以考察。书名中的“语言”是研究的切口,即语言学者从事多模态研究,凭据的是语言交际的多模态本质。以多模态观语言,由语言入而不止于语言,是本书的立场。

本书在全面回溯多模态研究发展历程的基础上,系统阐释其理论内涵、方法路径、领域范畴及典型案例,尝试构建相对完整的多模态语言研究知识体系。全书立足于多模态研究是整合性研究范式的基本认识,按照学科历史、理论内涵、方法路径与领域范畴的逻辑逐步展开,旨在弥补国内相关领域具体案例研究较多、系统性理论导引相对不足的问题,为多模态语言研究提供系统性的理论与方法参考。

本书基于国际多模态语言研究的前沿进展,将该领域的基本图景概括为:一个整合的研究范式、多种不同的方法路径、一批不断拓展的应用领域。这一核心观点主要体现在理论内涵、研究方法和应用范畴三个方面。

在理论内涵上,本书将多模态理解为一种整合性研究范式,强调建立系统的多模态语言理论。多模态研究并非仅仅关注语言之外的符号形式,而是从语言交际的多模态本质出发,将感官认知、符号表达及交际行为纳入统一的研究视野。本书认为,语言交际的发生与发展、人类与外界的交际互动,均以多模态感官系统为支撑;基于这一前提,依托多维数据类型对言语交际展开新的考察,有助于突破不同研究路径之间的界限,弥补长期以来语言学研究观察维度较为单一的不足。

在研究方法上,本书强调多模态研究范式下共存的多种研究路径,并对相关方法进行系统梳理。目前,与语言交际相关的多模态研究方法和具体路径大体上包括:多模态话语分析等符号学研究方法、多模态语料库方法、多模态会话分析方法、多模态神经认知机制研究方法等。我国在个别路径上成果丰硕,其余路径的研究则仍显不足;加之部分学者将多模态语言研究等同于多模态话语分析,一定程度上造成了研究方法单一、研究视域偏窄的局面。本书从方法来源、核心理论和具体操作路径等维度展开阐释,并结合相关研究案例,帮助读者全面认识不同方法的适用范围及其研究价值。

在应用范畴上,本书强调多模态语言研究的问题导向与跨学科属性,全面呈现其不断拓展的研究领域。多模态语言研究的内涵与外延正在持续拓展,其研究既包括对人类语言交际的多模态互动机制、脑机制及行为规律等基础性问题的探索,也涉及基于现代科技与未来发展的多模态应用性研发。这些研究领域的持续发展,反映出多模态本质及其机制在语言交际多维层面的具体展开,也进一步彰显了多模态作为整合性研究范式的开放性与广泛适用性。

本书是国内为数不多的对该领域进行较为全面、系统阐释的导论式论著,凸显了该研究领域的系统性、前沿性及实践性。其学术价值主要体现在以下三个方面。

一是构建系统的多模态语言观,深化对人类语言交际本质的认识。多模态语言交际研究既根植于认知加工过程中多种感官模态的整合机制,也连接着外在多种符号模态的组合及其行为内涵。本书系统论证建立多模态语言理论的合理性与适用性,将语言研究置于更加广阔的感官认知与交际互动过程中加以考察。这一研究视角有助于弥补传统语言学研究观察维度相对单一的不足,为进一步认识语言的本质及其运作机制提供新的理论思路。

二是完善多模态语言研究方法体系,为相关实证研究提供系统性指导。本书系统介绍多模态语言研究涉及的核心方法,从理论基础、研究视角到具体操作路径对不同研究传统加以梳理,并辅以典型研究案例的阐释,由此形成较为完整的方法体系,立体呈现多模态语言研究的基本图景。

三是全面呈现多模态语言研究的新兴领域,拓展跨学科研究空间。本书反映近年来国内外多模态语言研究的前沿动态,既涵盖多元识读与语言教育、多模态语用学、多模态修辞学、多模态文体学、多模态认知诗学、多模态与特殊人群语言研究等新兴方向,也辐射语言文学、语言教育与语言认知科学等前沿交叉领域,充分展现了多模态研究的跨学科属性及其广阔的应用前景,可为相关学科之间的理论交流与方法融合提供参考。

黄立鹤教授长期从事多模态研究,并基于该范式创新语用学研究,考察老年人言语行为特征及其背后的机制,通过跨学科、新方法,拓展了新的研究领域。他的这部新著,全面介绍了多模态语言研究的理论框架,通过对近年来国内外多模态范式在语言交际相关研究实例的描述,系统地介绍了具体的分析方法,解答了许多前沿问题,展示了多模态研究推动语言学研究方法的全面革新,为多模态语言处理的神经机制研究、数字媒介中新兴语言形式的系统考察、跨文化语境下的多模态比较研究及多模态视角下的语言演化理论构建等指明了新方向,对多模态研究有重要的启发和指导意义,有助于推动多模态研究在中国进一步发展。

——李 嵬

伦敦大学学院教育学院院长

英国国家学术院院士

01

主要作者简介

黄立鹤,同济大学长聘教授,同济大学老龄语言与看护研究中心主任、同济大学语言学与多模态符号学研究所副所长、中国逻辑学会符号学专业委员会副主任委员、中国英汉语比较研究会医学语言与翻译研究专委会办公室副主任、上海市语文学会副会长;主要从事多模态、语用学、老龄化与老年语言学、语言健康及高等教育等研究;主持国家社科基金类项目、教育部人文社科、上海市哲社等其他各类纵向或横向项目二十余项;在国内外发表论文、媒体文章、出版专著文集百余篇(部),获教育部科学研究优秀成果奖(人文社会科学)、上海市哲社优秀成果奖,科技转化与科创育人成果获评国家级奖项五项,入选国家高层次青年人才、上海市曙光人才、上海市东方英才、德国洪堡学者、上海市外语杰出青年学者。

多模态语言研究的理论与实践

黄立鹤 等 著

北京: 科学出版社, 2026. 9

ISBN 978-7-03-086570-0

责任编辑:杨 英 赵欣欣

模态既可指感知觉通道,也可指符号系统,同时也是信息递质。人类语言本质上是多模态的。本书遵循“多模态是整合性研究范式”的基本立场,系统阐释多模态语言研究的学科历史、理论内涵、方法路径、领域范畴及研究案例,包括多模态语言研究的发展与现状、路径与方法、实践与应用等,全面阐释了多模态语言研究的知识体系框架,同时介绍了近年来国内外多模态范式在语言交际相关研究领域的前沿问题,是一本富有启发性的导论式著作,凸显了该研究领域的系统性、前沿性及实践性。

本书适合语言文学、社会学、传播学、教育学、心理学等相关专业领域的师生阅读。


(本文编辑:刘四旦)

专业品质 学术价值

原创好读 科学品位

一起阅读科学

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
结局早已经注定:皇家马德里巨星预计将离队

结局早已经注定:皇家马德里巨星预计将离队

本泽体育
2026-11-19 18:51:14
乌克兰被彻底炸傻眼,克里米亚大桥遇袭后,俄军连夜重创马达西奇

乌克兰被彻底炸傻眼,克里米亚大桥遇袭后,俄军连夜重创马达西奇

碳基生物关怀组织
2026-11-19 17:18:54
鲁豫问俞敏洪,中午去食堂还是去饭店。俞敏洪说,我们没有食堂。新东方为什么不给员工做食堂?

鲁豫问俞敏洪,中午去食堂还是去饭店。俞敏洪说,我们没有食堂。新东方为什么不给员工做食堂?

元气科技馆
2026-11-02 19:23:44
手握人民币的国人请注意:咱们的货币,或正被全球资本重新定价

手握人民币的国人请注意:咱们的货币,或正被全球资本重新定价

混沌录
2026-11-19 18:35:05
太平洋局势反转?美司令紧急预警:中国4年8艘,下一代只会更棘手

太平洋局势反转?美司令紧急预警:中国4年8艘,下一代只会更棘手

揽星戈
2026-11-20 00:10:38
香港偶遇霍建华,47岁的他脸部有了苍老感,看着不比同龄人显年轻

香港偶遇霍建华,47岁的他脸部有了苍老感,看着不比同龄人显年轻

陈意小可爱
2026-11-20 00:25:56
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
李在明不虚此行!他从深圳拿到的成果,足够给韩国人一个交代了

李在明不虚此行!他从深圳拿到的成果,足够给韩国人一个交代了

旧窗老街
2026-11-20 00:26:44
杨超越在工厂打工时候的照片曝光!网友炸了:这妥妥的厂花啊!

杨超越在工厂打工时候的照片曝光!网友炸了:这妥妥的厂花啊!

黎兜兜
2026-08-25 22:25:21
一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

LULU生活家
2026-10-24 14:40:06
新任市委书记低调参加家长会,班主任嘲讽他:你儿子不配进重点班

新任市委书记低调参加家长会,班主任嘲讽他:你儿子不配进重点班

红豆讲堂
2025-10-05 16:30:07
林彪在沙盘前研究战术,却被参谋质疑,林彪:你来指挥试试看

林彪在沙盘前研究战术,却被参谋质疑,林彪:你来指挥试试看

第四思维
2025-07-23 13:36:15
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
这是中国最不要脸的一个群体,无耻程度,世所罕见!

这是中国最不要脸的一个群体,无耻程度,世所罕见!

深度人物说
2026-11-19 10:49:10
世纪晚宴菜单曝光!特朗普、马斯克吃的啥

世纪晚宴菜单曝光!特朗普、马斯克吃的啥

说财猫
2026-11-20 00:24:21
92-90!上海男篮绝境大逆转,最多落后18分,可惜霍华德空砍40分

92-90!上海男篮绝境大逆转,最多落后18分,可惜霍华德空砍40分

汪星人哟
2026-11-19 22:18:21
48岁“美国队长”自曝约会难:女人不喜欢老男人

48岁“美国队长”自曝约会难:女人不喜欢老男人

影视情报室
2026-11-18 01:12:12
福州秋假三天,全市几乎挪动了一百万人

福州秋假三天,全市几乎挪动了一百万人

一口娱乐
2026-11-19 07:27:22
社保开始大数据倒查!违规挂靠、补缴等旧账终身追溯!

社保开始大数据倒查!违规挂靠、补缴等旧账终身追溯!

细说职场
2026-11-19 16:31:33
有些地方的城投,你花老百姓的钱真是一点不心痛啊!

有些地方的城投,你花老百姓的钱真是一点不心痛啊!

谣谈乡村振兴
2026-11-11 14:13:26
2026-11-20 01:16:49
科学出版社 incentive-icons
科学出版社
科学出版社官方号
6597文章数 27951关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

时尚
手机
数码
本地
公开课

聚光时刻,2026 时尚COSMO美容大赏年度全榜单揭晓!

手机要闻

苹果因iPhone维修限制面临法国“计划性报废”诉讼

数码要闻

联想Legion Go Beam掌机谍照曝光:取消标志性触控板 改用16:9屏幕

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版