广东
“我们瞄准的是 AI 推理市场——那里才是真正的、万亿美元级别的机会。训练规模很大，但推理将被用于所有场景。人们正在耗尽可用的推理算力容量。”甲骨文创始人Larry Ellison在财报会议上的这句话，以及剩余履约义务(RPO)飙升至4550亿美元的佐证，帮他在一夜之间登顶全球首富。
早在2024年AI应用爆发之时，Larry Ellison就已多次做过“推理会被用于一切”预判。AI训练需求通常是周期性、高强度的资源消耗，通常在超大 GPU 群上、一次性或周期性发生。只有AI推理需求才是将模型“产品化、服务化”后的持续调用——每天、每秒、在千万级用户或千百个自动化系统中被不断触发，这种常态化、大量化的资源占用将带来AI云服务的持续增长。
智通财经APP获悉，近期，七牛智能(02567)在财报中公布AI相关收入达1.84亿元，贡献了总收入的22.2%。相关业务负责人则表示，公司AI相关收入主要集中于AI推理服务和算力资源上，在8月初AI相关用户突破万人的基础上，近期得益于可调用的大模型数量超过50个，涵盖了LLM推理模型、工具调用、AI编程、推理接口支持Claude CodeAI等功能，七牛智能AI相关用户已达15000人。
要承接AI推理需求并不容易，需要在生产环境中不断降低模型推理请求的端到端延迟、提高吞吐率，快速响应用户或业务系统的请求，在高请求压力(QPS——每秒请求数)和TPM吞吐率的要求下，推理算力需求远超训练。此外，由于推理模型要给出有用、可操作的答案，需要高质量、可连通的企业数据，企业级、垂直行业级的海量结构化数据资产则是进入“推理时代”的关键资源。
得益于七牛智能过去14年以来在音视频云服务上的积累，七牛智能低延迟、高吞吐的全球实时节点、海量存储能力，以及将私有的音视频异构数据通过向量化、Private LLM 接入等技术，安全地“向推理模型暴露”，这些能力都将反哺七牛智能的AI云服务第二增长曲线，在推理算力的价值链中占据上游数据提供与中游算力基础设施的双重位置，从而拿到长期可观的推理算力营收与服务费，实现服务量价的双重增长。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
