Thoughtworks开发“检索增强生成”技术，能降低AI大模型的幻觉风险

别惦记天网了，人工智能可能会给你的企业声誉带来更大的风险。这意味着，是时候把科幻灾难片放在一边，开始认真思考人工智能在日常工作中对我们的实际意义了。

这并不是只关心眼前利益的短视行为，而是敦促技术人员和商业领袖认识到，如果我们要作为一个行业，甚至是一个社会，来应对人工智能的风险，我们就需要具体考虑其直接影响和结果。如果我们不能做到这一点，就几乎不可能采取任何行动。

（来源：AI 生成）

风险与所处环境有关

风险与企业所处的环境有关。事实上，最大的风险之一是你没有理解你所处的大环境、大背景。这就是为什么你在评估风险时需要从大环境开始。

这对企业声誉尤为重要。想想你的客户和他们的期望，他们对与人工智能聊天机器人互动有何感受？向他们提供虚假的或误导性信息会造成多大的损害？

也许你可以处理给客户造成的些许不便，但如果它对客户的健康或资产产生了重大（负面）影响，该怎么办？

即使部署人工智能技术是可行的，我们也要考虑一些可能存在的声誉风险。多年来，我们一直在谈论用户体验和以客户为中心的重要性，虽然人工智能可能会在这方面提供帮助，但它也可能破坏它们。

同样，你的团队也会遇到类似的问题。人工智能可能会提高效率，让人们的工作更轻松，但如果使用不当，它可能会严重扰乱现有的工作方式。

最近，人工智能行业谈论了很多关于软件开发者体验的话题，组织在人工智能方面的决策需要改善开发团队的体验，而不是破坏他们的体验。

最近，我们在出版刊物中讨论了这一点，其中提到的信息来自于我们在世界各地的软件行业客户。

我们发现，人工智能团队助理是软件工程领域最令人兴奋的新兴部分，但我们也注意到，重点必须放在赋能团队上，而不是个人。

我们在最新报告中表示：“你应该寻找创建人工智能团队助理的方法，帮助团队‘提升 10 倍效率’，而不是 10 倍独立的、由人工智能辅助的工程师。”

不在意团队状况可能会对企业声誉造成重大损害。一些乐观的组织可能会将其视为创新的一部分，但事实并非如此。

它向潜在员工，尤其是高级技术员工，传达出一个信号：你并未真正理解或关心他们所做的工作。

通过更智能的技术来应对风险

有很多工具可以帮助管理风险。Thoughtworks 帮助制定了负责任的技术行为手册，里面整合了许多工具和技术，组织可以使用这些工具和技术来对技术（而不仅仅是人工智能）做出更负责任的决策。

然而需要注意的是，管理风险尤其是声誉风险，需要真正关注技术实施的细节。这一点在我们与各种民间社会组织合作开发的社会福利聊天机器人中尤为明显。

这里的风险与之前讨论的风险没有什么不同：使用这些聊天机器人时，不准确的信息或“幻觉”可能会阻止人们获得他们赖以生存的资源。

这种意识为技术决策提供了依据。我们开发了一个名为“检索增强生成”的技术，可以降低模型产生幻觉的风险，并提高准确性。

这项功能可能成为该领域新兴技术和工具浪潮的一部分，还有很多技术和工具正在帮助开发人员应对人工智能带来的风险，包括保护性工具 NeMo Guardrails（限制聊天机器人以提高准确性的开源工具），本地化工具 Ollama（在本地运行大型语言模型以保护隐私，并避免与第三方共享数据的工具）和旨在提高模型透明度的工具 Langfuse。

然而，值得指出的是，这不仅仅是你应该开发什么的问题，也是你应该避免做什么的问题。这就是为什么我们一再强调，过度热情地使用大型语言模型和急于微调这些模型可能是危险的。

重新思考风险

新一波人工智能风险评估框架旨在帮助组织考虑风险。组织也必须关注立法动态（包括欧洲的《人工智能法案》）。但解决人工智能风险不仅仅是应用一个框架，或者遵循一套静态的良好实践。

在一个动态变化的环境中，我们必须保持开放的心态并不断调整，密切关注技术选择在微观和宏观尺度上塑造人类行为和社会结果的方式。

一个好用的框架是 Dominique Shelton Leipzig 的红绿灯框架。红灯表示禁止的东西，比如歧视性监控，绿灯表示低风险，黄灯表示谨慎。

我喜欢它的浅显易懂。对于技术从业者来说，过多的法律术语或文档可能会让人无从下手，难以行动。

然而，我也认为有必要修改框架，将风险考虑进去，而不仅仅是技术本身。

这样一来，你就不会试图让解决方案适应特定的情况，而是对不同情况做出不同反应，根据实际情况来决定如何行动。

如果企业和组织对人工智能（和其他技术）采取这种方法，就能确保它们满足利益相关者的需求，并保护自身声誉。

支持：Ren

运营/排版：何晨龙

01/ 将量子比特数提升1个数量级，科学家用中性原子制备量子处理器，实现6100个量子比特

02/ 麻省大学团队研发网格生物电子系统，能长期监测心肌组织机电信号，为心脏组织工程提供新工具

03/ 首次揭示海水中纳米塑料的形态，科学家研发气泡沉积技术，可捕获海水中极微量的纳米塑料

04/ 科学家研发新型核酸检测系统，无需依赖昂贵蛋白质酶，单次材料成本低至约0.02美元

05/ 科学家提出固态聚合物电解质新设计，能耐受4.5V的高压，有望成为高能锂金属电池的首选电解质