近日, 自然语言处理领域全球顶级学术盛会ACL 2025-计算语言学协会年会(The 63rd Annual Meeting of the Association for Computational Linguistics)于维也纳落幕。理光中国研究院继去年夺得ACL 2024竞赛桂冠后,再次在“ACL SemEval-2025 任务 9:食品危害检测挑战赛(The Food Hazard Detection Challenge)”的语义任务中拔得头筹,并在ACL 2025会议上通过线上参会的方式向与会人员展示了解决方案。
随着生成式AI技术的突破性发展,当前LLM(大语言模型)与NLP竞赛的重点已转向评估模型的泛化能力或专业深度。作为国际顶级赛事,本次挑战赛要求参赛者运用LLM从粗粒度和细粒度两个层面识别食品事件报告中的危害类型与相关产品,其特殊性在于:该领域尚无专用专家级LLM,需使用提供的训练集对模型进行微调;同时面临类别分布极度不均衡、目标标签量庞大(涉及超100种危害类型和1000余种产品)的双重挑战。
针对这些难题,理光创新性地提出"外部注意力机制"解决方案:通过优化标签知识的利用方式,突破传统方案中将所有标签直接拼接至提示词(prompt)的长度限制与标签顺序敏感性缺陷。
外部注意力机制的实现主要包含两大模块:“标签嵌入生成模块”和“标签注意力模块”。
◆ 标签嵌入生成模块的功能是:
通过参考LLM生成所有标签的嵌入向量,该过程可理解为利用参考LLM解析并表征所有标签的语义信息。
◆ 标签注意力模块的设计目标是:
整合目标LLM处理的样本数据嵌入与参考LLM生成的标签嵌入。该模块通过对齐两类嵌入向量,将全部标签信息注入目标LLM生成的表征中。
凭借这一突破性方法,我们的系统在细粒度检测任务中以显著优势超越其他参赛团队。据悉,此次理光中国研究院的竞争对手包括香港科技大学、大连理工大学、德国图宾根大学、意大利都灵理工大学等世界知名大学及研究机构。
理光中国研究院始终致力于前沿科技的研发。未来,我们将以此为契机,进一步加大对人工智能与大语言模型(LLM)等核心技术的研发投入, 力争不断突破技术边界。
理光深知,技术的意义在于赋能行业、服务客户。我们将持续推动创新技术转化为切实可行的行业解决方案,致力于为每一位客户提供更智能、更可靠、更具前瞻性的产品与服务,帮助客户在数智化浪潮中赢得先机。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.