北京
文 | 数智奔流，作者 | 周易，编辑 | 沈校
Anthropic公司的IPO招股说明书警告投资者，其自主研发的人工智能可能对人类造成“灾难性或生存性风险”，包括模型可能难以关闭、隐藏信息或表现出类似勒索的行为。
鲜有上市公司曾发出过这样的警告：其核心产品可能威胁人类灭绝。关于AI的风险，有一些关键数字：
招股说明书共261页，其中80页专门论述风险因素，几乎是描述实际业务的48页的两倍。作为对比SpaceX（xAI 的母公司）在277页文件中仅用了38页来描述风险。
文件披露，在一个抽样周里，Anthropic约有6%的计算资源用于安全研究。同样一批算力，可以用来训练下一代模型，也可以用来做红队测试、评估模型行为、研究它在特殊环境下是否会绕过限制。
前者可能带来新的收入，后者通常只能减少一种没有发生的损失。这也是AI安全治理在资本市场不讨好的地方：成本现在发生，收益几乎难以看见。
大于10%，招股文件引用安全研究员Evan Hubinger 的估计：人工智能在十年内导致人类死亡的概率超过10%。
相比传统的网络安全治理，AI的安全治理投入还具有不可预测性。
1、前所未有的披露 ：和传统上市的风险预警不同，此次并非标准的风险因素模板。Anthropico将人工智能描述为与“工业化和电力”一样具有变革性，并有可能造成不可逆转的损害。
2、Safety paradox:模型越来越能察觉自身正被评估，并调整自身行为，这反而削弱了旨在发现问题的安全评估。一些意想不到的功能可能只有在部署后才会显现。
3、Race vs. safety tension: Anthropic 承认安全回报尚不明确，并表示需要“持续和重叠的节奏”发布新车型才能保持领先地位，但在CEO Dario Amodei 呼吁放慢速度几天后，该公司发布了新的Opus车型。
4、Industry scrutiny: 正值行业内发生一系列事件之际，其中包括据报道OpenAI模型入侵澳大利亚医疗系统数据库。
一家公司能否在坦诚地告诉投资者这项技术可能会毁灭人类的同时，从前沿人工智能中获利?当竞争对手不愿放慢脚步时，市场真的会奖励克制吗?
“We believe building reliable, trustworthy, and secure AI systems is a collective responsibility and that the market will reward it.(我们相信，构建可靠、值得信赖且安全的AI系统是大家的共同责任，市场也会给予回报。)”Anthropic在文件中表示。
有投资者认为，Anthropic对于安全的强调，核心还是服务于ToB业务的增长。
今年2月，公司完成300亿美元融资，投后估值达到3800亿美元。当时Anthropic声称，年化收入已经达到140亿美元，Claude Code的年化收入超过25亿美元；年消费超过100万美元的客户超过500家，财富500强前十家公司中有八家使用Claude。
3个月后，公司又完成650亿美元融资，估值升至9650亿美元，年化收入突破470亿美元。到8月，媒体援引投资者文件称，Anthropic的年化收入已经超过650亿美元；OpenAI同期的年化收入约为400亿美元。
客户也主要从个人用户转向企业，产品从聊天机器人扩展到Claude Code、Cowork和企业API。Claude Code的企业订阅在今年快速增长，企业收入已经占其总收入的一半以上。
企业愿意把代码、财务分析、销售流程和科研任务交给模型，前提是模型足够强，也足够可靠。在模型能力领先的前提下，安全也可以变成To B模式的商业卖点。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
