北京
企业员工向内部知识库提问“新产线的最大承压是多少”，AI只拽出一段文字，漏掉了图纸上标注的关键参数。这不是模型偷懒，而是当前绝大多数检索增强生成系统只把文本当成有效信息。
EY（安永）近期发布的一项研究指出，传统RAG实现普遍忽略了大量非文本数据。企业文档中的关键事实经常藏在表格、工程图、公式和图片里，仅靠文字检索会让答案变得片面甚至错误。
EY给出的解法是一套多模态RAG框架：把插图和文本分开处理，再通过知识图谱建立关联。EY全球交付服务咨询的杰出技术专家、AI工程负责人迪潘詹·森古普塔表示，这套方法源自他们在客户项目中反复碰到的局限——“RAG对文本内容很有效，但在很多行业，大量信息是图形化的。”
比如工业企业会把核心规格画在工程图纸里，生命科学公司则高度依赖图表。EY的方法是把这些插图与相关文本连接起来，结果不仅准确性实现“数倍”提升，输出的回答叙事也更完整。
整个流程从分离文本和图像的摄取管道开始。文本经过分词、关键词抽取和命名实体消歧；插图则利用现有标题、邻近文字、边界框分析、OCR以及语言模型生成描述性元数据。文本和图分别存入不同的向量索引，查询时可定向检索文字、图像或同时检索两者。
同时，每个内容元素会变成知识图谱中的一个节点，带有加权关系。森古普塔解释：“我们建立不同插图和文本段落之间的关系，把信息存入图数据库，其中插图节点和文本节点各自独立，并设置了建立关联的规则。”这些关系的构建方式有三种：确定性关键词匹配、基于嵌入的语义相似度，以及通过机器学习推断隐含关联。随后还有一个“拾遗”过程，寻找缺失链接、消歧模糊实体并识别跨文档的相关信息，最终生成一个异构知识图谱。
这样的图谱能支撑多跳推理，而不需要语言模型自己去理解那些复杂的跨模态关联。EY的整体思路不改变底层大模型，而是改变了企业内容的准备、索引、关联和推理时的供给方式。
这样一来，过去被RAG放过的图表、图纸终于被纳入了“可检索”的范畴。对于工程、制药等图表密度高的行业，答案的完整性和可验证性都得到了结构性的改善。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
