AI买保险误付给陌生人，AI支付生态遭遇信任首考

在你看来无所不能的AI，偶尔也会“翻车”。

近日，广州某工程公司负责人深夜为员工购买团体意外保险，没想到AI提供了错误的付款二维码，导致近两千元的保费转入到无关第三方个人账户。次日，该先生发现无保单记录后联系到收款方，索回了AI买保险误付的钱款。

尽管钱款已经顺利退回，但这一事件引发公众对AI支付安全性的密切关注：AI为什么提供错误的二维码？整个AI支付流程是否存在安全漏洞？监管部门对于AI支付有怎样的约束等等。AI支付生态的布局动向与潜在风险被推至舆论焦点。

“模型幻觉”风险凸显

过度信任埋下隐患

事后不久，该事件相关AI平台称这种情况是“模型幻觉”所致，已经第一时间修复。

“模型幻觉”是指大语言模型在生成内容时产生与事实不符、逻辑断裂或脱离上下文的信息，其输出看似语法正确、逻辑严谨，但实际存在错误或无法验证。用一句常见的话说就是，AI“一本正经地胡说八道”，它自信满满生成虚假答案，却无法意识到自己的错误。

在重庆某创业公司工作的AI工程师汪建和记者交谈时表示，“模型幻觉”在各类AI应用中都有表现，但在AI支付领域，该风险可能带来无法预估的后果。

汪建认为，AI支付产生“模型幻觉”的原因主要有两个方面：一是AI模型训练数据中可能包含错误信息，例如，错误收款码被录入训练集，导致模型生成虚假支付指引；另一方面，用户盲目信赖AI，忽视了对支付信息的二次查实，最终导致错误发生。

“当前，随着AI支付无感化体验的不断深入，用户基本习惯了语音下单、刷脸支付等操作，但在AI支付领域中大模型幻觉潜藏风险并未引起用户的普遍关注。”汪建说。

巨头加速AI支付布局

抢占场景入口和行业标准制定权

以年初的“龙虾热”为引爆点，微信、支付宝、银联等行业巨头正加速布局AI支付，通过发布支付Skill、AI支付协议和智能体支付框架等方式，争夺AI场景下的服务入口和行业标准制定权。

3月31日，支付宝发布国内首个“支付集成Skill”，通过自然语言描述，AI可自动完成支付功能的接入，真正实现“开箱即用”。目前，该Skill已在多个头部AI工具平台上架，以帮助其开发者生态实现深度扩张。

4月10日，微信支付正式上线了一整套面向AI支付的“AI接入工具箱”，包括Skill技能包、AI友好文档、AI友好API，这套工具箱目前支持分账、退款、账单下载等20余种功能，并提供无资金流转的测试环境以降低试错成本。

与微信、支付宝基于生态的扩张模式不同，中国银联正在着力打造开放、中立、可互操作的支付基础设施，试图扮演“规则制定者”的角色。

本月初，银联在上海发布了APOP框架（《智能体支付开放协议框架》），该框架专为智能体支付生态系统设计，以解决身份信任、意图信任、过程信任三大核心问题。

这样的行业现状为AI支付安全带来全新的挑战。一方面是行业玩家全面提速布局AI支付生态；另一方面是大模型技术幻觉、安全漏洞以及监管滞后等一系列问题日益凸显。

支付生态全方位革新

迫切需要监管体系持续升级

巨头们密集布局AI支付，整个支付生态正经历一场从交互方式到商业逻辑的深刻变革。显然，这不仅是支付工具的升级，也是支付逻辑变化所带来的支付工具、支付形式的全方位革新。

AI工程师汪建谈道，这种变革体现在支付行为、产业格局、风险监管等多个方面，“首先，用户的支付行为正在从手动完成转变为AI智能体辅助甚至自主执行。支付的交互流程将更自然、决策更智能。”

“由此带来的产业格局变化更加激烈。不仅仅是微信、支付宝和银联，包括京东、华为、苹果等行业巨头都在参与其中。依托各自生态优势，每家的方向略有不同，但随着支付场景的渗透能力加强，支付安全迎来新的挑战。”

汪建认为，这样的行业背景下，用户隐私与权限滥用和AI诈骗手段升级这两个方面的表现尤为突出。“在支付流程中，AI需要调取用户相关数据，这个过程可能引发数据泄露和权限越界；同时，AI诈骗能力也在伴随大模型能力水涨船高，不法分子利用AI伪造身份、语音或视频实施精准诈骗，突破传统防骗逻辑。”

同时，AI支付创新与现有金融监管体系之间存在适配性缺口，例如AI代理支付的责任归属尚不明确，行业缺乏针对AI支付的全流程安全规范，平台防御机制水平参差不齐等。

直击痛点

消除“AI幻觉”加强“金融级风控”需双管齐下

奇安信人工智能公司安全专家刘岩在接受上游新闻记者采访时谈道，结合“AI买保险错付款”案例看，AI支付安全的核心痛点在于“AI幻觉”与“金融级风控”之间的脱节，具体表现在三个方面：

首先是AI幻觉导致的错误支付。大模型本质是基于概率预测生成内容，缺乏对物理世界和金融规则的深层理解。

其次是缺乏实时验证机制。目前的生成式AI在输出支付指令或二维码时，缺乏与银行或持牌支付机构的实时“真值”校验。AI生成的支付链接或二维码往往是静态拼凑，无法像正规支付网关那样具备动态风控、合规监测及资金存管功能。

再者，AI在联网搜索或调用插件时面临知识库污染风险。如果搜索引擎返回了网络黑产恶意散布的虚假页面，模型极易在特定诱导下输出钓鱼链接，导致资金直接流入攻击者账户。

在消费者端，大多数用户对于AI支付的便捷性持肯定态度。记者采访中，多位受访者认为AI支付非常方便，但同时也强调不会完全依赖AI进行操作，仍然会通过官方渠道进行二次确认。

实际上，多家平台对于AI支付流程介入已经有非常严格的二次确认过程以及严密的安全防控体系。以支付宝为例，在“龙虾”类智能体里开通支付宝AI付服务，必须要用户本人手动操作、完成身份核验去绑定支付宝，龙虾本身或者其他人无法操作；另外，“龙虾”可以帮用户“拉起”支付宝，但每一笔付款时还是必须要本人再授权确认；在支付整个过程中，支付宝智能风控系统全天候多维度监控，一旦监测到风险异常，就会提醒用户再次校验。

技术、监管、用户三方协同

实现AI支付“生态信任”

刘岩提醒消费者，在AI技术尚未完全解决“模型幻觉”问题前，用户在涉及资金交易时应保持高度警惕。

他认为，首先要坚守“官方渠道”原则。“AI目前仅适合作为信息检索和方案建议的助手（如对比保险条款、了解险种区别）。切勿直接扫描AI生成的二维码或点击其提供的支付链接进行转账。涉及资金支付，务必跳转至保险公司官方APP、官网或持牌第三方平台进行。”

同时要警惕“个人账户”收款。正规商业保险支付均有严格的资金监管，若支付页面显示收款方为个人、非保险公司名称或不明科技公司，请立即停止支付。

最后是做好交叉验证信息。对于AI提供的具体产品或缴费信息，建议通过官方渠道进行二次核实，切勿因“紧急”或“便捷”而省去核实步骤。

结合AI支付生态培育和长远发展方向，AI工程师汪建谈道，在技术层面需推动“强制人工确认机制”与“AI操作追溯系统”，在完善模型安全的同时构建分级风控，根据交易风险动态调整AI权限，关键节点可以强制人工介入。

汪建认为，相关部门在全力完善监管框架的同时，用户安全意识的提升也非常重要。“未来，AI支付生态的成熟需要平台筑牢技术防线、监管划定规则边界、用户保持理性警惕，三者协同推进，AI支付才能真正实现‘智能’与‘可靠’的平衡，从‘工具创新’迈向‘生态信任’。

上游新闻记者 杨昕华