做AI应用的公司,真正跑出结果的,往往不是直接拿现成的基础模型来用。它们会用强化学习这类后训练技术,对开放权重模型做定制。一个用你的业务背景、产品目录或临床术语训练过的模型,在具体任务上更准,跑起来也更省钱。做智能体时,你的数据、工作流、评测标准和成功标准,同样会塑造模型的行为。
![]()
但模型定制这件事本身很难。你得选对技术路线,搭好并管理GPU基础设施;做智能体,还要为多轮强化学习搭环境。亚马逊云科技的Amazon SageMaker AI无服务器模型定制,就是冲着这些麻烦来的。这次它把训练会话(training sessions)推到了正式可用。
训练会话给的是后训练逻辑的控制权,底层基础设施不用你管。训练循环由你来写、来协调,包括自定义损失函数或奖励信号。GPU分配、分布式执行、故障恢复、检查点存储,交给SageMaker AI。
不用选机型,也不用写分布式配置
用SageMaker AI无服务器模型定制,你不选实例类型,不管集群,不写分布式训练配置。技术路线也不设限:SFT、DPO、RLVR、RLAIF、多轮RL都能用;更新多少参数,可以用低秩适配(LoRA),也可以全量微调,还能通过连续定制把多种技术串起来。
省时间这块,SageMaker AI训练会话的cookbook给了示例和用例,还配了模型定制智能体技能。你描述用例,智能体负责数据准备、技术选择、训练、评测和部署。它在你平时干活的地方工作:SageMaker Studio、Kiro、Claude Code、Codex或GitHub Copilot。
ImagineSoftware数据科学高级副总裁Rob Gontarek的说法是,他们采用SageMaker AI无服务器训练会话搭建医疗理赔拒付分诊模型,第一天就验证了平台。底层API接口、对前向与反向传播、采样和优化器步骤的直接控制,让科学家能在一个对准确率要求苛刻的用例上做强化学习。训练会话给的原语,足以往生产级性能推。
训练循环自己写,计费按处理的token算
智能体训练的一个重要变化,是转向多轮强化学习。订机票、分诊工单、跑多步研究任务的智能体,要经过好几轮交互,才能判断结果对不对。训练循环很快就变复杂:模型在一套基础设施上训练,在另一套上推理生成回复,给回复打分,再把结果喂进下一次更新。每个阶段要的算力不同,跨工具、跨集群把它们接起来,都是额外的工作。
SageMaker AI本来就把多轮RL做成了托管、无服务器的技术。但客户想要自己定义损失函数、塑造奖励信号,或者把RL各阶段放进一个循环里。训练会话给的就是这份灵活度。
Karini AI首席执行官Nitin Wagh提到,他们用SageMaker AI无服务器训练会话,针对Amazon Neptune知识图谱微调gpt-oss-20b,做智能体多轮工具调用,基础设施由平台兜住。环境搭起来就能用,不用手动调参,也不用跟显存溢出较劲。检查点续跑是亮点:从精确的某一步恢复完全可靠。开发者的灵活度有了,运维负担也卸下来了。
机制上,你的代码在自己的环境里跑训练循环和奖励函数,把智能体接到它的工具或模拟器上。训练会话干的是吃GPU的重活:采样器生成回复,训练器计算梯度、更新模型权重。具体顺序取决于你写的算法。
以分组相对策略优化(GRPO)为例。它针对同一个提示生成多条回复,给它们打分,用相对表现来更新模型。循环跑一遍是这样:
- 采样回复:你的循环让采样器用当前模型为每个提示生成多条回复。
- 打分:你的奖励函数在自有环境里给每条回复打分,可以用验证器、奖励模型或测试框架。
- 更新模型:循环把分数送回训练器,forward_backward()用它算梯度,optim_step()把更新应用到模型权重。
- 刷新并重复:循环让会话用更新后的权重刷新采样器,然后开始下一批。代码重复这些步骤,直到训练结束。
计费按SageMaker AI处理的token来。奖励函数在你的环境里给一批数据打分时,计量暂停,也不需要预留容量。
数据与模型的控制权留在自己手里。每个会话用一个你创建的AWS身份与访问管理(IAM)执行角色,可以加上自己的AWS密钥管理服务(AWS KMS)密钥和虚拟私有云(VPC)配置。数据留在你自己选定的AWS区域内的Amazon Simple Storage Service(Amazon S3)存储桶里,检查点也落在那里。你的数据和定制后的权重,不会被拿去训练另一个模型。部署前可以评测模型的准确率、偏见和安全性;部署后可以加护栏,用Amazon CloudWatch做监控。团队现有的治理流程可以继续用。
目前训练会话支持gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B和Qwen3.8-27B。上手有两条路:在IDE里装SageMaker Python SDK(Linux或macOS,Python 3.10到3.12),克隆cookbook开始开发;或者在SageMaker Studio里,20秒内拉起一个现成的AI开发环境,登录、打开notebook、接上编码智能体(Kiro、Claude Code、Codex或Copilot),下载智能体技能和cookbook就能开工。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.