网易首页 > 网易号 > 正文 申请入驻

6毫秒切一次上下文,纯Rust运行时想干掉本地HTTP

0
分享至

本地写代码的智能体,大多跑在一层很脆的结构上:先起一个外部HTTP守护进程,比如Ollama、vLLM或llama-server,再通过localhost:11434用REST或SSE跟它说话。Ibrahim El Feqi(@ielfeqi)把这层结构的问题拆得很直接——当多智能体循环连续执行20到50轮工具调用时,每一轮的系统提示、AST差异、token流都要走一遍完整的JSON编解码和TCP套接字上下文切换。

代价不止是序列化。每一轮都会让外部服务器缓冲区里的前缀失效,或者被迫重新计算,延迟从毫秒级膨胀到每轮数十秒。更麻烦的是长上下文里注意力衰减后,模型会吐出带省略号的截断替换,把几百行代码悄悄抹掉。

Omni Engine的解法是把llama.cpp通过C-FFI直接嵌进进程里,整个运行时用纯Rust写。它不拉起子进程,也不查询守护进程,token生成的指针直接写进Rust的内存区。作者给出的数字是:在消费级硬件上,子智能体之间切换上下文降到6毫秒以内,覆盖Apple Silicon M系列、x86_64 AVX2和NVIDIA RTX。

支撑这个数字的是O(1)的KV缓存区切片:预先分配连续的整块内存,切换时不需要重新搬运。执行全程在设备上离线完成,没有云端token消耗,也没有遥测。

第二个卖点是零擦除不变量,写作W = ∅。在磁盘被改动之前,运行时先做一次校验:如果模型试图生成破坏性差异、残缺片段或格式错误的AST,事务直接失败关闭。宿主文件在隔离沙箱内测试通过之前保持完全不动。

沙箱用的是Bubblewrap。每次工具调用——编译、跑测试套件、执行脚本——都被关进Linux内核命名空间里:unshare-net彻底切断外网,系统根库只读挂载,可写工作目录是临时的tmpfs,改动在验证完成前被隔离。

并发表现上,作者在单张Tesla T4 GPU上做了一次50线程并发重构压力测试,用来衡量高负载下的智能体稳健性。仓库、文档和一行安装命令都已放出,安装方式是从GitHub拉取install.sh直接执行。

这套东西瞄准的不是又一个本地推理服务,而是把推理、差异校验和沙箱执行压进同一个进程边界。对天天跟多轮工具调用打交道的开发者来说,6毫秒这个量级值得盯一眼。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
卡塔尔代表团抵伊朗磋商两小时

卡塔尔代表团抵伊朗磋商两小时

界面新闻
2026-11-21 22:38:14
沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

兰姐说故事
2025-08-21 20:05:04
《GTA6》性感Mandy火了 网友质疑为何不让她当女主

《GTA6》性感Mandy火了 网友质疑为何不让她当女主

3DM游戏
2026-11-19 22:48:25
红四方面军总政委陈昌浩,1955年授衔全无,1967年自尽收场,三个儿子晚年命运揭秘

红四方面军总政委陈昌浩,1955年授衔全无,1967年自尽收场,三个儿子晚年命运揭秘

唠叨说历史
2026-11-11 11:01:00
这4笔交易被球迷吐槽亏本,没想到如今直接激活全队!绿军笑麻了,湖人开始冲冠

这4笔交易被球迷吐槽亏本,没想到如今直接激活全队!绿军笑麻了,湖人开始冲冠

篮球圈里的那些事
2026-11-22 01:15:04
以色列离组阁到期不足半月,艾森科特表态绝不允许内塔尼亚胡留任

以色列离组阁到期不足半月,艾森科特表态绝不允许内塔尼亚胡留任

碧海孤航
2026-11-20 21:38:37
支付宝芝麻分,可以提车了?这操作是真的狂!

支付宝芝麻分,可以提车了?这操作是真的狂!

科技狐
2026-11-19 02:21:44
加速脑梗的原因:喝酒仅排第6,排第1的,很多人经常做

加速脑梗的原因:喝酒仅排第6,排第1的,很多人经常做

路医生健康科普
2026-11-20 14:40:03
哥伦比亚女星晒30年前泳装写真!年轻时身材火辣,粉丝感叹太惊艳

哥伦比亚女星晒30年前泳装写真!年轻时身材火辣,粉丝感叹太惊艳

手工制作阿歼
2026-11-22 01:08:02
身价千万又如何,抗癌一年的魔术师刘谦,如今头发灰白瘦到认不出

身价千万又如何,抗癌一年的魔术师刘谦,如今头发灰白瘦到认不出

老娱记啊
2026-10-31 15:43:42
突发!46岁谢霆锋宣布喜讯!

突发!46岁谢霆锋宣布喜讯!

财经要参
2026-11-21 12:00:05
美军曾称:已摸透中国导弹家底!俄专家:解放军能半小时分胜负

美军曾称:已摸透中国导弹家底!俄专家:解放军能半小时分胜负

相思赋予谁a
2026-11-21 14:22:18
曹洪:伊朗战争让中国措手不及!中国根本没见识过这等打法!

曹洪:伊朗战争让中国措手不及!中国根本没见识过这等打法!

揽星戈
2026-11-21 02:54:51
墨西哥总统回程还是搭南航 发文感谢中国女保镖

墨西哥总统回程还是搭南航 发文感谢中国女保镖

看看新闻Knews
2026-11-20 18:56:15
特朗普接班人要换了?万斯遭党内质疑,鲁比奥成共和党新热门

特朗普接班人要换了?万斯遭党内质疑,鲁比奥成共和党新热门

冰汝看美国
2026-11-21 19:22:08
回暖只是暂时的 下一波冷空气已在路上→

回暖只是暂时的 下一波冷空气已在路上→

上海预警发布
2026-11-21 11:01:54
这事烂肚子里!你无意间撞见过别人什么秘密?网友:只能给陌生人讲

这事烂肚子里!你无意间撞见过别人什么秘密?网友:只能给陌生人讲

夜深爱杂谈
2026-10-22 21:17:59
2026年职工养老金,为什么迟迟不涨?三个原因说清楚

2026年职工养老金,为什么迟迟不涨?三个原因说清楚

社保小达人
2026-11-21 10:15:35
没想到,被国务院授予特殊津贴的王传福,竟再因一句话口碑暴涨

没想到,被国务院授予特殊津贴的王传福,竟再因一句话口碑暴涨

莫地方
2026-11-21 19:00:57
杨幂真的太美了

杨幂真的太美了

喜欢历史的阿繁
2026-11-22 00:19:25
2026-11-22 02:19:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
275文章数 90关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
手机
健康
房产
公开课

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版