北京第二外国语学院发布大语言模型翻译质量评测报告

中国教育报-中国教育新闻网北京6月23日讯（记者 施剑松）北京第二外国语学院今天发布《大语言模型翻译质量评测报告 BISU-AiTQA（v1.0）》。该评测突破国际现有评测以英语为核心的现状，开创性构建了以汉语为核心，覆盖多语种、多领域的大语言模型翻译质量评测体系。从评测结果来看，即使目前最先进的生成式人工智能 ，也不完全具备处理复杂语言的能力，在借助人工智能技术时，使用者必须具有判断力。

近年来，大语言模型在多语种翻译任务中已接近人类译者的水平，然而从翻译学和语言学的角度来看，当前大语言模型无法理解复杂语言结构和深层语义，专业领域知识薄弱，汉语理解与生成问题突出。北二外大语言模型翻译质量评测集中了英语、日语、俄语、法语、阿拉伯语五个语种师生力量，面向ChatGPT、Claude、Gemini、Grok、DeepSeek和通义千问六个国内外语言大模型，从当代文学、党政文献和外事新闻三个领域开展翻译质量测评研究。BISU-AiTQA（v1.0），以汉语为核心、以中国特色文本为基础，从语言特征维度、神经网络维度构建了包括词汇多样性、句法复杂度、篇章衔接度、语言可接受度等在内的六项指标体系，着重关注译文的语言使用特性，可有效识别模型在词法、句法和篇章衔接方面的能力，同时考察模型对语义的理解与语言表达能力，以实证方式检验了模型对中国话语、文化意涵与政策表述的处理能力，填补了“以汉语为核心”的多语种评测空白。

北京第二外国语学院相关课题负责人表示，语言不仅是沟通工具，更是人类思维方式的构建者。人工智能时代的外语学习，语言能力仍是外语人才的立身之本，而大语言模型技术进步是外语发展的助力，为外语教学与翻译研究扩宽了路径。目前，在国家大力推进“人工智能+”战略背景下，北二外依托60多年来积淀的外语、旅游和区域国别学科优势，汇聚计算机、数学及语言学师资，聚焦语言科学与人工智能技术的融合创新，瞄准北京市重点支持的“AI+X”领域（外语服务、脑机接口、老年康养、智慧文旅），通过“语言+AI+场景”的学科架构，建设成立了二外人工智能与语言科学学院。该学院汇聚了认知神经科学、生物医学工程、信息处理、自然语言处理、计算机科学与技术、语言学等领域专业教师，聚焦人工智能与语言健康、人工智能与语言工程、脑科学与智能计算、智能交叉等研究领域，致力于培养具备语言能力与人工智能技术的复合型高端人才。

作者：施剑松