明查×新质谈｜大模型必须学会“辨真伪”，更要学会“守底线”

来源：市场资讯

（来源：澎湃新闻）

生成式AI的浪潮席卷之下，AI生成的内容正以前所未有的密度，充斥着公共信息空间。当深度伪造的影像能以假乱真、当篡改的文字可混淆视听，社会信任体系正面临一场无声的考验。此时，人们自然将目光投向通用大模型，期待这些“智能大脑”能成为辨别真伪的可靠助手。

为探寻大模型的“识真”能力边界，近日，澎湃新闻·明查工作室发起了一场AI实验，选取DeepSeek、豆包、Claude Sonnet 4、Grok-4、ChatGPT-5、Gemini 2.5 pro等代表性模型，从文本、图片、视频三个维度考察其识别准确性、逻辑推理能力与上下文一致性。

上海人工智能研究院受邀，对实验结果展开相关技术分析。在这场围绕AI“魔法能否打败魔法”的探索中，大模型们展现出了鲜明“个性”与潜藏的共性困境。

本文观点整理自上海人工智能研究院技术与创新中心的专家对话，参与讨论的核心成员包括（以下统一称为“团队”）：

林圆圆 首席数字官、技术与创新中心主任

单 珂 技术与创新中心资深算法工程师

朱晓海 技术与创新中心资深算法工程师

能力辨析，大模型“识真”的个性与共性

从技术底层逻辑来看，当前大模型参与“识真”任务，本质上是依托其上下文逻辑处理能力与工具调用机制提供辅助查证支持。团队指出，这些模型在训练阶段普遍采用通用语料库，未针对“事实核查”进行专项优化——这与厂商的资源投入优先级密切相关，目前“识真”能力更多是多任务学习的结果。

这种“非专项训练”的特性，使得不同模型在推理过程中呈现出显著的“个性差异”。有的模型会优先调用图像识别工具拆解图片细节，有的则擅长通过文本语义关联追溯信息源头，还有的倾向于通过逻辑链推导验证内容合理性。团队解释，这种差异取决于厂商的技术架构设计（如是否集成专用验证模块），也与厂商技术工具、任务理解模板与战略侧重不同有关：“就像面对同一道证明题，有人用几何图形推演，有人靠代数公式计算，最终路径不同，但都在试图接近真相。”正如澎湃明查总结的，有的大模型像实验室检测人员，有的像侦探。

比如，在“图片伪造检测”等已有成熟专业工具的领域，有些通用大模型的表现易受“外部资源调用”影响。当前，通用大模型已从早期依赖自身概率推断的阶段，进化到能主动调用外部工具的“协同”阶段。在特定测试中表现突出的通用大模型，很可能是其调用的工具与测试场景高度适配，或是训练数据分布恰好与测试用例重合。这并非单纯的“模型能力优劣”，更多是技术路径与场景匹配度的结果。

“逻辑一致性”是通用大模型“识真”的另一重考验。包括“AI幻觉”在内的逻辑偏差问题，往往需要通过思维链、思维树等提示工程手段进行修正或结合知识图谱进行实体关系验证，有时甚至需要通过多轮交互反复确认，才能引导模型回归严谨推理。团队强调，模型的逻辑表现既与用户输入的提示策略、模型背后的训练数据相关，也依赖厂商预设的评价指标与优化体系，“严谨的判断不能仅凭单次交互结果，还需参考模型的核心评价榜单与长期性能表现”。

从技术本质看，通用大模型“识真”能力受三大核心因素制约：一是语义匹配与概率权重计算能力，这直接决定模型对上下文逻辑的判断与分析一致性；二是信息溯源机制的完善程度；三是工具协同效率。就像人类查证信息需查阅权威信源，通用大模型也需通过调用外部搜索工具、对接权威数据库获取可靠信息，再结合自身推理形成判断。但团队也指出，这种“推理+溯源”的模式存在系统模糊性，“从消费者视角，我们很难判断某次识别错误是源于模型自身逻辑缺陷，还是信息溯源环节的偏差，这正是当前技术透明性不足带来的认知壁垒。”

产业演进，国内大模型的技术演进与产业选择

回溯国内通用大模型的发展脉络，一条从“文本交互”到“多模态融合”的路径清晰可见。2022年底，基于GPT-3.5的ChatGPT发布，掀起对话模型热潮。其背后的InstructGPT技术路线引入人类反馈强化学习（RLHF）与奖励模型（Reward Model），通过排序反馈微调，让模型从无监督的语言概率预测工具，向更贴合人类偏好的方向转变，这一调整首次让用户感受到AI交互体验的质的飞跃。

比如，在“图片伪造检测”等已有成熟专业工具的领域，有些通用大模型的表现易受“外部资源调用”影响。当前，通用大模型已从早期依赖自身概率推断的阶段，进化到能主动调用外部工具的“协同”阶段。在特定测试中表现突出的通用大模型，很可能是其调用的工具与测试场景高度适配，或是训练数据分布恰好与测试用例重合。这并非单纯的“模型能力优劣”，更多是技术路径与场景匹配度的结果。

如今，多模态已成为行业公认的主流发展方向。团队表示：“纯文本的大语言模型的竞争已逐渐降温，行业逐步更多聚焦于多模态能力的建设与优化——通过融入视觉、听觉等信息，让人机交互更贴近人类自然感知方式。”当前技术路线呈现“双线并行”特征：以Sora为代表的视频生成模型专注于动态视觉内容创作，而多模态大语言模型（MLLM）则致力于打通文本、图像、音频的跨模态理解与生成。团队认为，未来这两条路线将走向融合，最终形成“万物到万物”的原生多模态模型。

视频理解与生成是当前多模态技术的难点所在。相较于文本的一维上下文，视频需处理“图像帧集合+时序关系”的三维信息，计算量呈指数级增长。目前主流技术方案是在Transformer架构下，将视频帧转化为Token序列，通过上下文关联技术实现音视频与文本Token的对齐，但不同厂商在融合深度与Token处理方式上仍存在差异。

团队认为，从产业落地来看，国内大模型厂商的视频相关能力，在To B领域已具备相关基础技术能力，只是面向C端的产品因受众人群覆盖广而讨论度更高。在“文生视频”赛道，字节的即梦、快手的可灵AI等产品早已推出面向创作者的视频生成工具；本月发布的文心5.0 Preview作为“全模态模型”，在中文大模型评测基准（如CMMLU）中表现优异，与GPT-4.5-preview、Claude-Opus-4-1、Claude-Sonnet-4-5 等并列全球第二，其在40余项权威基准测试中展现的语言与多模态理解能力，也印证了国内大模型在核心技术领域的追赶成果。

值得注意的是，尽管事实核查需求日益凸显，业界尚未出现专注于“AI识真”的明星企业或产品。团队观察发现，此前相关技术探索多见于学术论文，部分金融机构会组建小型团队开发内部核查工具，但受限于场景特异性与商业价值不确定性，尚未形成规模化的产业供给。这也从侧面反映出，大模型“识真”能力的商业化，仍需等待技术成熟度与市场需求的进一步匹配。

责任共识，技术向善的社会责任与治理方向

当通用大模型逐渐渗透进社会运行的毛细血管，其承载的社会责任也越来越大。团队认为，为保证输出结果质量，企业首先需在训练数据源头筑牢防线。无论是学术研究的应用场景识别，还是相关监管机构对谣言信息的判定，都要求模型输入的原始数据具备较高的“清洁度”。正如“Garbage In, Garbage Out”的技术铁律所示，数据质量直接决定模型输出的价值导向，若任由错误、偏见信息进入训练环节，后续再完善的算法也难以避免价值偏差。

这种责任在ToB与ToG领域尤为关键。在医疗、金融风控、政务信息处理等场景中，模型输出的准确性直接关联商业决策与公共服务质量。企业需建立更严格的数据审核机制，甚至引入第三方校验，尤其在医疗、司法等高风险场景中，确保训练数据符合行业规范与社会伦理。团队举例：“此前有新闻报道，部分海外用户因与AI的不当交互引发极端后果，这提醒我们，模型不仅需要技术层面的约束，更需要价值观层面的引导——无论是原始数据筛选，还是后续‘后处理’优化，都应向‘有益、安全、公平’的方向倾斜。”团队认为，在价值观对齐与安全伦理建设方面，国内大模型厂商展现出相对优势，形成更加审慎、负责任的实践路径。

从行业治理视角来看，当前亟需构建“技术+制度”的双重保障体系。技术层面，可通过思维链优化、信息溯源机制完善、外部工具协同等方式，持续提升通用大模型“识真”能力的稳定性；制度层面，则需要政策与法规的引导——既明确企业在数据治理、模型优化中的责任边界，也为技术创新预留合理空间。团队建议，可参考现有AI安全治理框架，探索建立大模型“识真”能力的评价标准，推动行业从“被动应对”转向“主动预防”。

在这场技术与伦理的平衡术里，没有单一的完美解。通用大模型的“识真”能力，既是技术演进的自然结果，也是社会需求的倒逼产物。上海人工智能研究院相信，随着技术的持续迭代、治理体系的逐步完善，以及企业社会责任意识的提升，大模型终将在“创造”与“辨别”之间找到平衡，成为守护信息真实性、推动社会信任体系建设的重要力量——而这，正是新质生产力发展过程中，技术向善的应有之义。

【关于SAIRI新质谈】

上海人工智能研究院原创内容专栏。依托研究院“创新策源地、成果放大器、产业连接器”的平台优势，聚焦新一代人工智能技术快速演进的新形势，贯彻落实国家“人工智能+”行动，全景记录AI技术赋能千行百业的创新实践，见证人工智能改变社会文明的变革时代。

来源：澎湃明查x新质谈