金宁副教授等：基于迁移学习的农业短文本语义相似度计算方法（《智慧农业（中英文）》2025年第1期）

来源：市场资讯

（来源：智慧农业期刊）

引用格式：

金宁, 郭宇峰, 韩晓东, 缪祎晟, 吴华瑞. 基于迁移学习的农业短文本语义相似度计算方法[J]. 智慧农业(中英文), 2025, 7(1): 33-43.

DOI： 10.12133/j.smartag.SA202410026

JIN Ning, GUO Yufeng, HAN Xiaodong, MIAO Yisheng, WU Huarui. Method for Calculating Semantic Similarity of Short Agricultural Texts Based on Transfer Learning[J]. Smart Agriculture, 2025, 7(1): 33-43.

DOI： 10.12133/j.smartag.SA202410026

基于迁移学习的农业短文本语义相似度计算方法

金宁1， 郭宇峰1，2， 韩晓东1， 缪祎晟2，3， 吴华瑞2，3*

（1.沈阳建筑大学 计算机科学与工程学院，辽宁沈阳 110168，中国； 2.国家农业信息化工程研究中心，北京 100097，中国； 3.农业农村部农业信息化技术重点实验室，北京 100097，中国）

摘要：

［目的/意义］农业领域高质量的语义相似度计算是推动农业技术推广信息化、智能化发展的重要基础。针对现有文本语义相似度计算模型特征提取不全面、高质量标注数据集少等问题，提出一种基于迁移学习和BERT（Bidirectional Encoder Representations from Transformers）预训练模型的农业短文本语义相似度计算模型CWPT-TSBERT（Chinese-based Wordpiece Tokenization and Transfer-learning by Sentence BERT）。

［方法］CWPT-TSBERT依托孪生网络架构，利用迁移学习策略在大规模通用领域标注数据集进行模型预训练，解决农业文本标注数据集少、语义稀疏性高等问题。提出面向中文的子词单元分词方法CWPT拆分汉字，增强字向量的语义特征表示，进一步丰富了短文本语义特征表达。根据迁移学习的微调机制，利用SBERT（Sentence BERT）模型提取字向量，挖掘汉字间及字形结构间关联关系，提高模型语义相似度计算的正确率。

［结果和讨论］CWPT-TSBERT模型的语义相似度计算正确率达到97.18%，高于基于卷积神经网络的TextCNN_Attention、基于循环神经网络的MaLSTM（Manhattan Long Short-Term Memory），以及基于BERT预训练模型的SBERT等12种模型。

［结论］CWPT-TSBERT模型在小规模农业短文本数据集上语义相似性计算正确率较高，性能优势明显，为语义智能匹配提供了有效的技术参考。

关键词： 迁移学习；农业短文本；语义相似度计算；字形特征；知识智能服务；大模型

文章图片

图1　语义相似度计算模型结构图

Fig. 1 Semantic similarity computation model architecture diagram

图2　孪生网络结构图

Fig. 2 Siamese network architecture diagram

图3　迁移学习流程图

Fig. 3 Transfer learning process flowchart

图4　CWPT流程图

Fig. 4 The process structure diagram of CWPT

图5　自注意力结构图

Fig. 5 Schematic of self-attention

图6　模型皮尔逊相关系数对比

Fig. 6 Comparison of model Pearson correlation coefficients

图7　模型斯皮尔曼相关系数对比

Fig. 7 Comparison of model Spearman correlation coefficients

图8　字形结构注意力权重热力图

Fig. 8 Glycolic structure attention weight heat map

通信作者介绍

吴华瑞 研究员

吴华瑞研究员，科技部“十四五”数字乡村技术预测专家组组长、国家“十四五”重点专项“乡村产业共性关键技术研发与集成应用”总体组专家、农业农村部数字乡村技术重点实验室主任，农业农村部特色经济作物全程机械化专家组成员，中国人工智能学会智能农业专委会主任，国家大宗蔬菜产业技术体系智能化管理岗位科学家，《智慧农业（中英文）》编委，入选国家级人才。主要从事农业大数据、人工智能与蔬菜智慧无人农场相关研究工作。近年来获国家科技进步奖1项，省部级奖励5项，发表论文85篇（SCI 25篇），授权发明专利37项，编制颁布标准8项，著作2部，软著34项。

来源：《智慧农业（中英文）》2025年第1期