Anthropic工程师揭秘：如何守护Claude的可信度

你是否好奇过，像Claude这样的AI智能体是如何在几秒钟内回答复杂问题的，以及这些信息究竟从何而来？你并不是唯一有这种疑问的人。

Gurmeet Saran每天都在寻找这个问题的答案。他是旧金山Anthropic公司的一名工程师，该公司正是Claude背后的AI研究机构。作为IEEE高级会员，他正致力于开发一套基础设施，用以理解这款聊天机器人行为背后的运作机制，并确保其底层架构能够产生可靠的输出结果。

Gurmeet Saran

雇主：旧金山Anthropic公司

职位：技术团队成员

会员级别：IEEE高级会员

毕业院校：印度卡利亚尼大学；印度皮拉尼比拉理工学院

"我的工作就是确保数据准确、结构合理、值得信赖，并且确保隐私数据始终保持私密，"他说道。"正如我在职业生涯早期学到的那样，隐私保护不能是事后附加的一层，而必须从一开始就融入架构设计之中。"他补充说，如果无法信任底层逻辑，就无法对系统行为做出可靠的判断，而这会带来实实在在的安全隐患。

他表示，安全始终是Anthropic的首要任务。根据Claude的使命宣言，公司希望这款AI智能体能够"真正帮助与之互动或代表其行事的人们，同时也造福整个社会，同时避免采取不安全、不道德或具有欺骗性的行为"。Saran指出，实现这一使命的关键在于确保研究人员能够观察并理解AI模型的行为方式，而这对大语言模型来说尤其具有挑战性。

"我们已经拥有相当不错的工具来监控数据库和网络服务，"他说，"但对于大语言模型，我们仍在摸索之中。"

在雅虎、Intuit和Meta解决数据质量问题

Saran对计算系统的兴趣要追溯到他在加尔各答度过的童年时光，那时他总是尽可能多地泡在学校的计算机实验室里。

"我还记得第一次使用电脑的情景，"他说。"让我印象深刻的是，你可以编写指令，机器会精确地执行它们，不存在任何歧义。"

"那种感觉对我来说简直是神奇的。"

1999年高中毕业后，他留在印度继续攻读高等学位。2004年，他在卡利亚尼大学获得电子与电信工程学士学位。2010年，他在皮拉尼比拉理工学院获得软件工程硕士学位。

在读研期间，他于2007年在雅虎印度班加罗尔分部开始了职业生涯，担任数据团队的技术负责人。在那里，他参与的一个项目塑造了他此后的职业发展方向：从事网络分析和商业智能报告解决方案的工作。

"我们一直遇到一个令人头疼的问题，"他回忆道。"不同团队在计算同一个网站指标——比如每日活跃网站用户数——时使用的逻辑略有不同，最终得出相互矛盾的结果。这听起来像是个小问题，但当管理层要依据这些数据来做资源分配和产品开发决策时，不知道哪个数字才是正确的，这就成了一个大问题。"

该团队建立了一个中央数据仓库，并定义了明确的指标，使其本质上成为唯一可信的数据来源。Saran创建了一个模型，明确定义了"每日活跃网站用户"的含义，详细说明了哪些事件应被计入统计、如何处理边缘情况（即标准代码失效的情形）等问题。

有了这个新模型，公司各个数据团队就可以依据一套标准方法，来确定其负责的项目和网站的每日活跃用户数量，并使用相同的逻辑获得可比较的结果。

在此基础上，Saran和他的团队打造了Yahoo! Digits，这是一款供公司所有产品使用的内部网络分析工具。

2010年，Saran离开雅虎，加入位于加州山景城的Intuit公司，担任高级工程师。他协助构建了分析基础设施，将公司各产品线的数据统一起来，其中包括TurboTax和QuickBooks会计软件。在他任职期间，Intuit开发出一项能够实时检测欺诈性报税的功能。这要求Saran和其他工程师构建一套系统，在遵守美国国税局严格政策的同时，保护纳税人的数据安全。

"IEEE在许多国家都开展工作，这些国家的工程师原本缺乏便捷的渠道融入全球专业社区。随着AI发展逐渐超越少数几家机构的范畴，这种联结变得愈发重要。"

"这段经历让我明白，隐私保护和治理机制不能是事后附加到软件上的，"他说。"它们必须从一开始就成为架构设计的一部分。"

2016年，Saran加入Meta（当时名为Facebook），在加州门洛帕克担任首席软件工程师。当时公司正因视频指标问题陷入争议：Meta公开承认了一个错误，该错误导致其发布视频的观看次数被夸大。

"这不是一个编码漏洞，而是一个架构层面的问题，"Saran说。他建立了一套与在Intuit时开发的系统类似的机制，通过定义唯一的真实数据源，来统一管理整个网站的视频观看指标。

这套名为Metric360的系统最终成为该网站架构的一部分。他表示，到2021年他离开Meta时，Metric360已在公司内部被广泛用于计算视频指标。

离开Meta后，他加入了位于加州帕洛阿尔托的金融服务公司Wealthfront，担任首席软件工程师，协助构建公司的数据基础设施。

在Anthropic构建值得信赖的AI系统

2025年，Saran加入Anthropic，成为技术团队的一员。

为了阐释自己工作的意义，他打了一个医学方面的比方："想象一下，一位医生正在监测病人的生命体征，并根据这些数据做出治疗决策。如果使用的一台或几台医疗设备出现了轻微的校准偏差会怎样？即使大多数读数都是正常的，这仍然是个严重的问题，因为那些艰难的决策往往就产生在临界的边缘地带。"

"AI系统也是同样的道理。我的工作本质上就是确保这些'仪器'给出准确的读数——确保数据的含义与其表面所呈现的一致。"

他的工作责任重大，需要解决的问题也相当复杂。

"AI智能体尤其难以观察和监测，"他说。"当一个系统在执行一系列动作时（比如与不同用户生成对话回复），你需要一种方法来记录它做了什么、它所依据的信息是什么，以及最终结果是否符合终端用户的预期。而且你必须在不泄露任何人隐私信息的前提下完成这一切——这些系统被设计成能够识别敏感数据，并在数据流转过程中始终加以保护。这是一个比我以往处理过的任何问题都更具挑战性的可观测性难题。"

Saran表示，在AI应用尚处于早期阶段的当下解决系统可靠性问题，既是他的热情所在，也是让他夜不能寐的难题。

"我认为，让AI系统真正具备可审计性和透明度，是未来十年最重要的工程难题之一，"他说，"但相较于模型能力，这个问题受到的关注要少得多。"

IEEE可以在塑造AI发展方向上发挥作用

Saran于2025年3月加入IEEE。

"在雅虎、Intuit、Meta和Wealthfront等机构从事数据基础设施建设工作二十多年后，"他说，"我希望通过同行评审、发表论文以及参与更广泛的工程研究生态系统，来回馈这个技术社区。"

他表示，自己相信IEEE能够通过标准制定工作，在塑造AI未来发展方向上发挥至关重要的作用。

"从建筑规范到软件测试，我们在各个领域都制定了相应标准，"他说。"AI基础设施也需要类似的标准体系，而IEEE拥有做这件事所需的公信力和影响力。"

他表示，IEEE还能够解决另一个问题，那就是准入机会的问题："IEEE在许多国家都开展工作，这些国家的工程师原本缺乏便捷的渠道融入全球专业社区。随着AI发展逐渐超越少数几个城市中少数几家机构的范畴，这种联结变得尤为重要。"

Q&A

Q1：Gurmeet Saran在Anthropic主要负责什么工作？

A：他是Anthropic的技术团队成员，主要负责开发基础设施来理解Claude等AI智能体行为背后的运作机制，确保数据准确、结构合理、值得信赖，并保障隐私数据的安全性，从而使AI系统的输出结果可靠可信。

Q2：为什么确保AI系统的可审计性和透明度很重要？

A：Saran认为，让AI系统真正具备可审计性和透明度是未来十年最重要的工程难题之一。因为AI智能体的行为很难观察，需要有办法记录系统做了什么、依据什么信息做出判断，以及结果是否符合用户预期，这对保障AI系统安全性至关重要。

Q3：Saran在加入Anthropic之前有哪些工作经历？

A：他曾在雅虎担任数据团队技术负责人，在Intuit和Meta担任工程师职位，还曾在Wealthfront担任首席软件工程师。在这些公司期间，他主要从事数据基础设施建设工作，并曾解决过数据指标不一致、隐私保护和视频观看数据统计错误等问题。