网易首页 > 网易号 > 正文 申请入驻

一个MCP服务器管住6种推理后端,8个工具全包了

0
分享至

一个MCP服务器,同时管住6种AWS推理后端。从Amazon Bedrock、SageMaker端点,到跑在EC2 g6和g5g上的vLLM,再到Inferentia2和Trainium上的Gemma 4——全部从一个聊天会话里操作。

这套东西背后是一个Strands agent,面前摆着6种在AWS上服务模型的方式。跑起来意味着最多横跨4个区域的5个计费资源,其中两个跑在AWS Neuron芯片上,而且没有一个实例能从公网访问。


8个Python工具,覆盖全生命周期

服务器提供8个MCP工具,把列出、启动、健康检查、读日志、提问、拆除这些操作全部交给agent。它用工具回答“什么在跑、什么在计费”“inf2开始服务了吗”“给我看g6上的vLLM日志”“全部拆掉”,这些工具的算术和检查都在代码里跑,不靠模型猜。它还把demo 1的计数工具通过协议本身提供给Strands agent。

整个服务器就是一个文件,mcp_server.py,通过stdio启动。仓库根目录的.mcp.json把它注册给Claude Code,任何MCP客户端都能用同样的方式启动它。

三行JSON-RPC就够看清它提供什么。服务器跑在MCP Python SDK 2.1.1和它的MCPServer类上,协商的协议版本是2025-11-25,tools/list返回8个工具。

四条设计规则撑起整个文件

第一条,boto3是同步的,所以每次调用都通过asyncio.to_thread跑在工作线程里。这让一个工具能用asyncio.gather同时问4个区域。

第二条,每个工具都带MCP工具注解,客户端在调用之前就能分清哪个是清单查询、哪个会产生账单、哪个会删除东西。只读、写入、破坏性,三档分得清清楚楚。

第三条,服务器导入demo已经在用的两个模块,在它们周围加上AWS调用。boto3负责EC2、SSM、SageMaker,backends.py提供chat_once(),demo1_counting.py提供count(),subprocess负责拉起stage/up.sh和stage/down.sh。

第四条,启动是分离式的,输出落在stage/*.log里。

一次调用0.78秒,问遍5个AWS接口

list_backends会在4个区域里搜带标签的实例,问SSM每个运行中的实例是否已签到,问SageMaker端点的状态,再把正在计费的东西加起来。计数在工具里算好,agent直接引用。

什么都没启动的时候,它返回6个后端的状态:bedrock是"always on",sagemaker是"not found",g6、g5g、inf2、trn1都是"not launched",billing_now为0,ec2_running为0。

这一次调用花了0.78秒,完成了5个AWS describe调用——每个区域一个EC2,外加一个SageMaker。每个运行中的实例还会再加一次SSM调用。

ask_backend_configured在5个后端都下线的情况下依然列出全部6个。它列出demo.env里带URL的每个后端,那个文件由stage/forward.sh写进stage目录,而且比转发本身活得更久。

launch_backends接受g6、inf2、trn1、g5g和sm中的任意组合。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
苏州疾控:这种病毒将进入高发期,没有特效药

苏州疾控:这种病毒将进入高发期,没有特效药

小虎新车推荐员
2026-10-14 00:24:40
“一家八口点80块钱大盘鸡,没吃饱投诉饭店!”家长委屈诉苦,店老板态度绝了!

“一家八口点80块钱大盘鸡,没吃饱投诉饭店!”家长委屈诉苦,店老板态度绝了!

林林先生
2026-10-13 20:50:34
洪金宝深夜发声明:陈小姐,请别再拿我名字当信用卡刷

洪金宝深夜发声明:陈小姐,请别再拿我名字当信用卡刷

乡野小珥
2026-10-14 14:13:27
悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

小莜读史
2026-10-12 09:38:33
打乳钉,被渣男白睡16年,骗财骗色,分走6个亿,如今张靓颖怎样

打乳钉,被渣男白睡16年,骗财骗色,分走6个亿,如今张靓颖怎样

兵卒史
2026-10-14 15:38:35
苹果官宣!国行设备新功能来了

苹果官宣!国行设备新功能来了

花果科技
2026-10-14 12:10:51
59岁越剧演员钱水明去世!半夜河边洗衣服溺亡,好友曝光细节

59岁越剧演员钱水明去世!半夜河边洗衣服溺亡,好友曝光细节

落雪听梅a
2026-10-13 17:46:27
十月16、17、18号开始幸运高照,不仅有桃花,还有横财来的生肖

十月16、17、18号开始幸运高照,不仅有桃花,还有横财来的生肖

毅谈生肖
2026-10-14 11:57:04
苹果mini新机官宣:10月30日,正式开售!

苹果mini新机官宣:10月30日,正式开售!

科技堡垒
2026-10-14 11:36:00
武网最新战报:中国金花2连胜!温网冠军女单脱险,女双抢10连得8分!

武网最新战报:中国金花2连胜!温网冠军女单脱险,女双抢10连得8分!

刘姚尧的文字城堡
2026-10-13 17:22:54
北京大妈餐厅打碎一个碗要求赔3000,乐呵呵结账离开后,店长慌了

北京大妈餐厅打碎一个碗要求赔3000,乐呵呵结账离开后,店长慌了

罪案洞察者
2025-05-21 10:18:30
韭菜是血压“杀手”?医生再三提醒:高血压人群,少吃这5种食物

韭菜是血压“杀手”?医生再三提醒:高血压人群,少吃这5种食物

健康之光
2026-10-14 13:04:04
特朗普被耍了?俄柴油刚要交货,炼油厂遭乌空袭,背后油源不简单

特朗普被耍了?俄柴油刚要交货,炼油厂遭乌空袭,背后油源不简单

知法而形
2026-10-13 06:27:31
许家印的靠山,被起诉了

许家印的靠山,被起诉了

哲空空
2026-05-22 13:40:53
乌外长强硬表态:“此事已了结!”

乌外长强硬表态:“此事已了结!”

环球时报国际
2026-10-14 12:56:38
越南高层在中国,提了一个很直白的请求,他们想要更实在的利益

越南高层在中国,提了一个很直白的请求,他们想要更实在的利益

基斯默默
2026-10-13 12:24:43
马达加斯加报告4例鼠疫确诊病例和5例疑似病例

马达加斯加报告4例鼠疫确诊病例和5例疑似病例

界面新闻
2026-10-14 07:13:24
七旬老太在养老院10年从不和人说话,去世后整理遗物,发现她的秘密

七旬老太在养老院10年从不和人说话,去世后整理遗物,发现她的秘密

温情邮局
2025-08-14 15:34:36
突发!懂车帝热搜第一,疑是被曝付费邀约黑尊界

突发!懂车帝热搜第一,疑是被曝付费邀约黑尊界

大厂财经社
2026-10-14 12:50:05
炸串摊主被差评后跳河轻生,警方调查

炸串摊主被差评后跳河轻生,警方调查

中国新闻周刊
2026-10-13 20:38:18
2026-10-14 16:32:49
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
218文章数 88关注度
往期回顾 全部

科技要闻

两大厂接连挖人,明星AI公司申请破产保护

头条要闻

媒体:台当局举办庆典 一国派出115人"庞大"代表团

头条要闻

媒体:台当局举办庆典 一国派出115人"庞大"代表团

体育要闻

30天30队·太阳:金毛、比特、杜宾和二哈

娱乐要闻

蔡卓妍回应张致恒欠钱不还 不指望还钱

财经要闻

AI短剧正在毁掉中年男人?

汽车要闻

豪华智能全拉满 比亚迪大汉不止旗舰级舒适

态度原创

数码
亲子
教育
时尚
旅游

数码要闻

AOC推出Mini LED显示器AGP277QKM:27" QHD 425Hz,峰值亮度1200nits

亲子要闻

“没流过汗的人,不知道一粒米有多重”,拔了一次花生,他再也不敢剩饭了

教育要闻

937名中小学科技班主任,全部来自中国科学院大学

今年秋冬最火搭配:毛衣+阔腿裤,怎么穿都时髦!

旅游要闻

随手一拍就是大片!重庆这片粉黛花海如约上线

无障碍浏览 进入关怀版