网易首页 > 网易号 > 正文 申请入驻

vLLM 团队创立 Inferact 并完成 1.5 亿美元种子轮融资,真格基金首轮投资

0
分享至

真格基金是开源项目 vLLM 的早期捐赠人。我们见证了 vLLM 团队对技术的前瞻判断与极致追求,也深深被他们为开源生态作出的卓越贡献所打动。非常激动能够从第一天起,继续支持由 vLLM 核心团队创办的 Inferact。祝贺 Simon,Woosuk,Kaichao,Roger,Ion 等创始团队成员!期待 Inferact 在他们的带领下,打造世界级的 AI 推理引擎,加速整个 AI 产业的进步。

真格基金管理合伙人戴雨森

1 月 22 日,由开源软件 vLLM 核心团队创立的 AI 初创公司 Inferact 正式宣布完成 1.5 亿美元的种子轮融资,公司估值达到 8 亿美元。本轮融资由 Andreessen Horowitz 与 Lightspeed 领投,真格基金与 Sequoia Capital、Altimeter Capital、Redpoint Ventures 等硅谷顶级 VC 跟投。

成立于 2025 年 11 月的 Inferact 诞生于 vLLM 社区长期实践的基础之上。vLLM 是当下最重要的开源推理引擎之一,也是整个开源世界中规模最大的项目之一。今天,vLLM 已支持 500 余种模型架构,运行在 200 多种加速器之上,在全球范围内承载着真实且大规模的推理负载,累计拥有 2000 多名贡献者。Meta、Google、Character.ai 等多家公司也已在生产环境中使用 vLLM。2024 年 7 月,真格宣布捐赠支持 vLLM,一路陪伴核心团队从一个开源项目走到今天。


Inferact 成立后,来自 vLLM 核心团队的 Simon Mo 将出任 Inferact CEO,Woosuk 任 CTO,Kaichao(游凯超)任首席科学家。团队还包括 Roger Wang、伯克利大学计算机系教授 Ion Stoica 等联合创始人和十几位创始团队成员。他们的使命十分明确:把 vLLM 打造成世界级的 AI 推理引擎,通过让推理变得更便宜、更高效,来加速整个 AI 产业的进步。

Inferact 联合创始人兼 CTO Woosuk Kwon 在 X 上宣布公司成立的推文中提到:

当前,AI 行业正经历一轮明确的迁移:从训练端的能力不足与不稳定性,快速转向推理端的资源受限和执行效率问题。随之而来的是推理需求的爆发式增长,而且很可能是超线性的。随着 Agent 执行步数增加、单步所需 token 数上升,推理负载本身正在变得愈发复杂。

模型规模持续增长,新架构层出不穷。从 MoE、多模态到智能体化,几乎每一次模型能力的突破,都会提出全新的基础设施要求;硬件端也在不断碎片化,出现了更多类型的加速器、更多编程模型以及更多需要被优化的组合。

模型能力与承载它们的系统方案之间正在形成越来越大的鸿沟。最强大的模型受限于算力瓶颈,全部潜力只能被少数拥有定制化基础设施能力的团队完全释放。且这一问题仍在加剧。推理正从计算资源中的「一小部分」演变为「绝对主体」:test-time compute、RL 训练闭环及合成数据生成,都在不断推高对推理的需求。

惟有补上这层差距,新的可能性才会真正打开。

这一理念源自 vLLM 的起点。

2022 年,在 ChatGPT 发布之前,vLLM 团队曾在加州大学伯克利分校内部搭建过一个大语言模型 demo。当时部署在服务器上的还是 Facebook 的 OPT-175B,目的是为了展示团队此前一个用于自动化模型定型与推理的研究项目 alpha。但在部署过程中,团队很快发现 demo 运行缓慢、GPU 利用率极低,这让他们意识到:大语言模型的瓶颈并不只在模型本身,推理阶段的系统层问题同样关键。随着模型规模扩大,仅靠模型层优化已经远远不够。

Inferact CEO Simon Mo 曾在 2024 年做客真格播客「此话当真」时分享:「在推理过程中,单点的算子优化当然重要,但真正有效的,是跨请求、跨任务的系统级优化。当时市面上几乎没有任何专门针对大语言模型推理优化的开源系统,所以我们决定自己动手,从零开始做一个。」

在随后的实践中,团队进一步定位到 GPU 显存管理这一核心瓶颈。传统的内存管理方式存在大量浪费,严重限制了吞吐与并发能力。经过多轮迭代,vLLM 团队提出了新的 attention 计算方法 PagedAttention,借鉴操作系统中的 Paging 与虚拟内存机制,对 Transformer 中 attention 所使用的 KV Cache 进行管理,从而显著降低显存占用,并提升整体吞吐能力。这一技术突破成为 vLLM 乃至 Inferact 的重要起点。

vLLM 位于模型与硬件交汇的关键位置,而这个位置,是用多年时间一点点打磨出来的。

正如同样诞生于伯克利、随后成长为独角兽的 Apache Spark、Ray 等项目一样,Inferact 也是在持续运营一个被全球顶级公司真实使用的开源社区中,汇聚了大量优秀开发者的长期贡献,同时打磨出了一支推动智能边界、具备清晰使命感的团队。

伯克利的开源传统本质上是一种「碰撞机制」,让学界最新的想法与真实的生产环境和用例相遇,也让更具探索性的研究思维与业界务实的工程取向不断摩擦。双方彼此学习,最终孕育出既实用又能引领范式变化的开源项目。

这一机制也体现在 vLLM 的成长路径中。当模型厂商推出新的架构时,会第一时间与 vLLM 协作,确保 Day-zero 支持;当硬件厂商设计新的芯片时,也会直接与 vLLM 集成;而从前沿实验室、云厂商到服务数百万用户的初创公司,在规模化部署时,运行在生产环境中的仍是 vLLM。这个由 2000 多名贡献者共同构建的生态构成了 vLLM 和 Inferact 最坚实、也最难以复制的基础。

Inferact 表示,公司的首要任务始终是以独立开源项目的形式持续支持 vLLM,并将所有改进回馈社区;同时,Inferact 将开发商业化产品以帮助企业在不同类型的硬件上更高效、更稳定地运行 AI 模型。

Inferact 看到的未来是:AI 的部署与服务将变得像基础设施一样轻松。

Woosuk Kwon 在官宣推文的最后展望:「大规模部署一个前沿模型仍需要一整支专业的基础设施团队。而在未来,这件事理应像启动一个 serverless 数据库一样简单。复杂性不会消失——它将被吸收进 Inferact 正在构建的基础设施之中。」

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不是脚气病,而是糖尿病信号?医生:足部出现这些异常,别忽视!

不是脚气病,而是糖尿病信号?医生:足部出现这些异常,别忽视!

路医生健康科普
2026-11-19 11:05:03
国际篮联宣布最新决定,中国男篮收重大喜讯,郭士强运气太好了

国际篮联宣布最新决定,中国男篮收重大喜讯,郭士强运气太好了

宗介说体育
2026-11-22 11:11:52
【2026.11.22】爆姐的饭后爆料:生命不止,爆料不息!

【2026.11.22】爆姐的饭后爆料:生命不止,爆料不息!

娱乐真爆姐
2026-11-22 23:49:42
熊磊怒怼田静给她脸了,田静强势回应,“火药味”十足

熊磊怒怼田静给她脸了,田静强势回应,“火药味”十足

江山挥笔
2026-11-22 20:37:03
重磅:黑海舰队军舰“水星”号在利比亚爆炸被毁!

重磅:黑海舰队军舰“水星”号在利比亚爆炸被毁!

项鹏飞
2026-11-22 22:35:58
广州白云机场 T1 改造方案出炉,打造城市综合体

广州白云机场 T1 改造方案出炉,打造城市综合体

阿莱美食汇
2026-11-22 15:40:16
演员余文乐公布病情

演员余文乐公布病情

情感大头说说
2026-11-22 12:26:14
房子从290万跌到150万,我断供了,全家人走上不归路

房子从290万跌到150万,我断供了,全家人走上不归路

流苏晚晴
2025-08-05 20:04:13
峨眉山偶遇刘涛!48岁素颜爬山状态引热议

峨眉山偶遇刘涛!48岁素颜爬山状态引热议

手工制作阿歼
2026-11-20 13:03:18
高市重申对台立场

高市重申对台立场

陆弃
2026-11-22 10:21:14
女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

第四思维
2025-09-03 09:30:25
泽连斯基警告:普京必须明白,克里米亚大桥无论如何都将不复存在

泽连斯基警告:普京必须明白,克里米亚大桥无论如何都将不复存在

麓谷隐士
2026-11-23 00:05:15
八马茶业回应被暂停参与全军物资工程服务采购资格

八马茶业回应被暂停参与全军物资工程服务采购资格

界面新闻
2026-11-22 19:56:22
刚2-1逆转塞尔塔!皇马赛后传来穆里尼奥消息,库尔图瓦说的很实在

刚2-1逆转塞尔塔!皇马赛后传来穆里尼奥消息,库尔图瓦说的很实在

独坐山巅前
2026-11-22 16:21:35
玻璃瓶更干净?法国科学家的意外发现:玻璃瓶里的微塑料反而更多

玻璃瓶更干净?法国科学家的意外发现:玻璃瓶里的微塑料反而更多

抽象派大师
2026-11-22 01:39:07
44岁奥运冠军被批叛国!3大“罪行”曝光 11个银行账户被冻结

44岁奥运冠军被批叛国!3大“罪行”曝光 11个银行账户被冻结

念洲
2026-11-22 17:17:54
理科状元张晓勇:清华毕业5年后回乡做保安,现在每月工资5000元

理科状元张晓勇:清华毕业5年后回乡做保安,现在每月工资5000元

大眼妹妹
2026-11-22 14:03:21
全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

徐德文科学频道
2026-11-20 15:21:42
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
仅播4集,就轻松拿下热榜第一,终于又有黑马剧可以追了!

仅播4集,就轻松拿下热榜第一,终于又有黑马剧可以追了!

仙味少女心
2026-11-21 19:48:33
2026-11-23 00:51:00
真格基金 incentive-icons
真格基金
创业,来真格的。
1595文章数 3712关注度
往期回顾 全部

财经要闻

最大回撤超37%,黄金崩盘了吗?

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
时尚
健康
旅游
军事航空

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版