Nebius推出Token Factory，提供大规模生产AI推理

Nebius推出了Token Factory（词元工厂），这是一个生产推理平台，使垂直人工智能（AI）公司和数字企业能够大规模部署和优化开源和定制模型，并具有企业级的可靠性和控制能力。

Token（词元）在人工智能领域，是AI 理解语言的最小“单元”。它把人类语言（句子、段落）分解成 AI 能看懂的小块，每块就是一个 token。AI 通过处理这些token 来理解、生成、回答问题。

基于Nebius的全栈人工智能基础设施，Nebius Token Factory将高性能推理、后训练和细粒度访问管理整合到一个单一的治理平台中。它支持所有主要的开放模型，包括DeepSeek、OpenAI的GPT-OSS、Llama、NVIDIA Nemotron和Qwen，并为客户提供托管自己模型的选项。

随着人工智能从实验转向生产，依赖封闭模型可能会造成扩展瓶颈。开源和定制模型可以消除这些障碍，释放创新和更好的经济性，但对于大多数团队来说，在生产中管理和保护它们仍然是复杂和资源密集型的。

Nebius Token Factory通过将开放模型的灵活性与大规模运行人工智能所需的治理、性能和成本效益相结合，使团队能够实现这些优势。它针对效率进行了优化，提供亚秒级延迟、自动扩展吞吐量和99.9%的正常运行时间，即使对于每分钟超过数亿个请求的工作负载也是如此。

Nebius的联合创始人兼首席业务官Roman Chernin表示：“每个团队都有独特的要求，他们希望在不繁重工作的情况下实现速度、可靠性和成本效益。”“我们建立NebiusToken Factory不仅是为了服务模型，也是为了帮助客户解决真正的挑战和进行规模工程——优化推理管道，将开放模型转化为生产就绪系统。”

全栈人工智能基础设施作为基础

Nebius Token Factory建立在Nebius AI Cloud 3.0“以太坊”之上。这确保了企业级的安全性、主动监控和一致的性能，并通过包括MLPerf推理在内的基准测试进行了验证。通过将Nebius的全栈基础设施与针对推理进行优化的技术栈相结合，NebiusToken Factory帮助客户更快地扩展其AI应用程序和解决方案。

SemiAnalysis首席分析师Dylan Patel表示：“在SemiAnalysis，我们跟踪每个GPU云播放器的总拥有成本。Nebius是唯一一个使用定制ODM机箱的新云，这意味着总拥有成本大大降低。我们很高兴看到他们的新推理平台围绕成本、每位用户的输出速度和模型质量这一权衡三角进行设计。”

人工智能项目形成规模通常比周围的团队更快。Nebius Token Factory简化了训练后的生命周期，将开源模型权重转化为优化的、生产就绪的系统，具有有保证的性能和透明的每个Token成本。集成的微调和蒸馏管道使团队能够根据自己的数据调整大型开放模型，同时将推理成本和延迟降低高达70%。

优化后的模型可以立即部署到生产端点，而无需手动设置基础设施。这种方法使人工智能构建者和企业能够更快地迭代，可预测地管理成本，并对所服务的每个Token保持完全透明。

Token Factory引入了团队和访问管理、单点登录（SSO）、项目分离和以企业为中心的计费，以简化协作并确保合规性。管理员可以设置精细的角色，强制最低权限访问，并在所有部署中维护清晰的审计跟踪，从早期实验到关键任务工作负载。

Nebius Token Factory——主要特点

具有有保证的性能和隔离的专用端点，具有99.9%的SLA、可预测的延迟和自动扩展的吞吐量。

欧盟或美国数据中心的零保留推断，支持严格的数据驻留要求。

安全认证，包括SOC 2 Type II，包括HIPAA、ISO 27001和ISO 27799认证。

全面的微调功能支持LoRA和完整模型训练，实现无缝一键部署和托管。

支持40多种开源模型，包括最新的Deep Seek、Llama、OpenAI和Qwen，针对最新芯片进行了优化。

通过设计进行治理，包括团队和访问管理、SSO、统一计费和审计友好的工作区。

OpenAI兼容的API，用于从专有端点无缝迁移。

可用性

Nebius Token Factory是Nebius AI Studio的下一代版本，经过重新设计，可用于企业就绪和完整的模型生命周期管理。现已可用，支持60多个跨文本、代码和视觉的开源模型。当前的AI Studio用户将自动升级到Token Factory。

关于Nebius

Nebius是一家为全球人工智能行业构建全栈云基础设施的技术公司。该公司总部位于荷兰阿姆斯特丹，在纳斯达克（Nasdaq:NBIS）上市，在欧洲、北美和以色列设有研发中心，业务遍及全球。Nebius AI Cloud是为密集型AI工作负载从头开始构建的。凭借内部设计的专有软件和硬件，Nebius AI Cloud为AI构建者提供了构建、调整和运行模型所需的计算、存储、托管服务和工具。

与 Ai 时代前沿合作，将大门向更多普通用户敞开！无论你是对新技术充满好奇心的爱好者，还是希望提升自己技能的职场人士，这里都有适合你的课程和资源。欢迎扫码加入我们！