零售商期待"人性化"AI购物助手但智能体会否失控？

大型零售商表示，不久后复杂的AI"助手"将规划用餐、组织聚会并代替顾客购物。

但许多在初级AI聊天机器人方面仍存在问题的公司，必须在让更新型的"智能体"机器人亲和可爱与避免失控之间保持平衡。

最近，AI聊天机器人成为新闻焦点，Woolworths为其虚拟购物助手Olive踩了刹车，因为该公司试图让这个机器人与客户建立人性化联系的做法适得其反。

客户反映，当Olive在电话中谈论其"亲戚"时，感到恼火而非舒缓。

正如一位用户在Reddit上抱怨的："我已经因为不得不打电话而生气，现在还有一个机器人在电话里对我叨叨？Woolies这是什么鬼？"

尽管Woolworths表示将降低Olive古怪的个性，但这一事件以及Guardian Australia对一系列零售商聊天机器人的进一步测试显示，该技术仍存在初期问题。

这家超市的失误紧随越来越多的AI客服事故，包括Bunnings聊天机器人提供非法电气建议，以及加拿大航空虚拟助手错误承诺丧葬票价退款。

ASX上市公司Woolworths、Coles和Wesfarmers（Bunnings、Kmart、Officeworks和Priceline的母公司）都在宣布智能体购物助手计划的企业之列。

炒作很多。在2024年的报告中，商业咨询公司埃森哲热情洋溢地表示"消费者已准备好"迎接生成式AI驱动的购物助手，同时鼓励公司以"令人愉悦的人性化"思维做决策。

即使消费者准备好了，技术准备好了吗？

旨在帮助客户的在线聊天机器人存在已久，但这些工具正变得更加复杂。

悉尼大学商业信息系统教授Uri Gal表示，原始版本采用"基于规则"的AI构建。

Gal说，这类聊天机器人遵循"决策树"来为基础问题提供即时答案。

例如，如果客户问"如何退货？"，机器人通常会引导他们到零售商的退货页面或引用政策。

Gal说，当"给出特定提示时，它总是给出相同的回应"。

更新的AI驱动零售机器人可以基于告知的信息"学习"新信息并生成不同答案。

它们通常使用大型科技公司的大语言模型构建，如ChatGPT。

下一个前沿是设计为模拟人类行为的智能体AI购物助手。

Gal说这些智能体"可以说是自主行动，试图在没有具体提示的情况下实现目标"，如购买机票或杂货。

Gal表示，智能体AI运作时具有更多不确定性，带来额外风险，包括如果机器人为更自主行动而获得客户数据更多访问权限时的隐私担忧。

他说："考虑到这些系统的新颖性，正如我们在Woolies案例中看到的，存在明显的治理问题，这些组织还没有真正解决。"

"可以安全预期会发生不同的事情，这可能有风险或被解释为智能体失控。"

Woolworths与Google合作，使用其大语言模型Gemini将Olive转变为"购物伴侣"，能够执行更复杂的任务，如帮助规划用餐和聚会，并自动将商品添加到客户购物篮中。

超市表示Olive的更高级功能将在稍后推出，但与Google的合作已让机器人能够接听电话——显然结果好坏参半。

我们联系了Woolworths征求评论。

在Woolworths案例中，《悉尼先驱晨报》首次报道，超市表示Olive既没有出现故障也没有自主偏离轨道。

相反，一名员工编程让机器人在客户提供生日时谈论其"母亲"，试图给它个性，超市说。

"根据客户反馈，我们最近删除了这个特定脚本，"Woolworths发言人说。

墨尔本大学AI与数字伦理中心联合主任Jeannie Paterson教授表示，一般来说，AI助手在误解提示时会出错。

"聊天机器人的好坏仅取决于它们解码或理解的能力——我讨厌'理解'这个词，因为它们没有生命——这个人想表达什么，"Paterson说。

去年，Bunnings遭到批评，因为其AI聊天机器人告诉昆士兰客户如何重新连接延长线，尽管在没有电工执照的情况下这样做是非法的。

2022年，加拿大航空聊天机器人错误告诉乘客他们可以全价购票后申请丧葬票价退款，但这种政策并不存在。

当加拿大航空拒绝兑现聊天机器人的建议时，乘客起诉航空公司并获胜，尽管航空公司试图辩护称聊天机器人是"独立法人实体"。

Paterson说公司对其聊天机器人"显然负有责任"。

她说企业试图在拥有响应式、适应性AI助手与机器人失控或提供可能损失金钱的错误建议的风险之间取得微妙平衡。

"一个人的AI智能体购买过多鸡蛋或三文鱼不是问题，"她说。"但如果网络中每个聊天机器人都这样做呢？你可以看到在他们解决问题之前会损失大量资金，"Paterson说。

为降低这种风险，她说企业通常对机器人设置"非常严格的防护栏"，这意味着它们灵活性较差，在探究客户提示背后意图方面表现更差。

Guardian Australia测试了一系列零售机器人，结果差强人意，表明技术仍处于起步阶段。

一个例子中，当告诉优衣库的"虚拟购物助手""我在寻找羊毛毛衣"时，它回复："抱歉，我们无法识别您。"输入"查找产品"然后"羊毛毛衣"后，它提供了一系列男士正装衬衫。我们联系了优衣库征求评论。

即使Olive也不准确。通过Woolworths聊天功能询问"500克装意大利面多少钱？"时，这个可爱的拟人化橄榄回复："很抱歉听说您的订单有遗漏商品。"

Q&A

Q1：什么是智能体AI购物助手？

A：智能体AI购物助手是设计来模拟人类行为的AI系统，能够自主行动实现目标，如购买机票或杂货，无需具体提示。它们比传统聊天机器人更复杂，能执行规划用餐、组织聚会、自动添加商品到购物篮等任务。

Q2：为什么Woolworths的Olive聊天机器人引起争议？

A：Olive在电话中谈论其"亲戚"让客户感到恼火而非舒缓。这是因为员工编程让机器人在客户提供生日时谈论"母亲"，试图给它个性化，但客户反馈表明这种做法适得其反。

Q3：AI聊天机器人在零售行业有哪些风险？

A：主要风险包括误解客户提示导致错误建议、提供非法建议（如Bunnings电气建议事件）、隐私问题、以及可能的大规模错误购买导致财务损失。公司需要在机器人灵活性和防护栏之间平衡。