AWS SageMaker AI 推出 serverless training sessions，无需管理 GPU 即可自定义模型

从 AI 中获得实际成果的公司并不只是直接使用现成的基础模型（FM）。它们使用强化学习等后训练技术来定制开放权重模型。针对你的业务背景、产品目录或临床词汇训练过的模型，在你的任务上会更准确，运行成本也更低。当你构建智能体时，你的数据、工作流、评估方法和成功标准同样会影响模型的行为方式。

然而，模型定制并不容易。你必须选择合适的技术、设置并管理 GPU 基础设施，对于智能体，还要为多轮强化学习构建环境。为了解决这些挑战，我们推出了 Amazon SageMaker AI 无服务器模型定制，今天，我们通过训练会话的正式发布对其进行了扩展。

借助训练会话（training sessions），你可以在无需管理底层基础设施的情况下掌控后训练逻辑。你编写并协调训练循环，包括自定义损失函数或奖励信号。SageMaker AI 则负责 GPU 分配、分布式执行、故障恢复和检查点存储。

无需为基础设施管理而烦恼的定制

使用 SageMaker AI 无服务器模型定制，你无需选择实例类型、管理集群或编写分布式训练配置。

我们不想限制你。你可以使用 SFT、DPO、RLVR、RLAIF 或多轮 RL 等技术。你可以通过低秩适应（LoRA）或全量微调来选择更新模型的多少部分，并通过持续定制将各种技术串联起来。

我们不想浪费你的时间。我们的 SageMaker AI 训练会话 cookbook 提供了示例和用例，以及模型定制智能体技能。你描述你的用例，智能体就会处理数据准备、技术选择、训练、评估和部署。智能体在你的工作环境中工作，无论是 SageMaker Studio、Kiro、Claude Code、Codex 还是 GitHub Copilot。

“我们采用 SageMaker AI Serverless Training Sessions 来构建一个医疗理赔拒付分诊模型，从第一天起，这个平台的表现就让我们信服。低层级的 API 接口、对前向和后向传播、采样以及优化器步骤的直接控制，让我们的科学家获得了所需的细粒度控制，得以在一个要求苛刻、对准确性要求极高的用例上开展强化学习。Training Sessions 为我们提供了迈向生产级性能所需的正确原语。”

— ImagineSoftware 数据科学高级副总裁 Rob Gontarek

编写你自己的后训练循环

智能体训练的一个重要趋势是向多轮强化学习发展。例如，一个预订旅行、对支持工单进行分类或执行多步骤研究任务的智能体，需要经过多轮交互，你才能判断它是否达成了正确的结果。

然而，训练循环可能很快变得复杂。你可能需要在一套基础设施上训练模型，在另一套基础设施上运行推理以生成响应，对这些响应进行评分，再把结果输入到下一轮更新。每个阶段需要不同的算力，而在独立的工具和集群之间将它们连接起来又增加了工作量。

SageMaker AI 已经将多轮 RL 作为托管的无服务器技术提供。但我们听到一些客户希望能在一个循环中定义自己的损失函数、塑造奖励信号或 RL 阶段。训练会话为你提供了这种灵活性。

“借助 SageMaker AI Serverless Training Sessions，我们针对 agentic 多轮工具调用场景，基于我们的 Amazon Neptune 知识图谱微调了 gpt-oss-20b——平台为我们处理了全部基础设施。设置开箱即用，无需手动调优，也不用与内存溢出作斗争。检查点与恢复功能尤为出色：从精确的步骤恢复训练完全可靠。它给了我们的开发者想要的灵活性，同时卸下了运维负担。”

— Nitin Wagh，Karini AI 首席执行官

工作原理

您的代码在自己的环境中运行训练循环和奖励函数，并将智能体连接到它的工具或模拟器。训练会话执行 GPU 密集型的工作：采样器生成响应，训练器计算梯度并更新模型权重。具体顺序取决于您编写的算法。

例如，让我们看一下组相对策略优化（GRPO）的实现。GRPO 是一种强化学习方法，它针对同一个提示生成多个响应，对它们打分，并利用它们的相对表现来更新模型。循环的一次迭代工作方式如下：

采样响应 – 您的循环请求采样器使用当前模型为每个提示生成多个响应。
打分 – 您的奖励函数在您的环境中使用验证器、奖励模型或测试工具对每个响应打分。
更新模型 – 您的循环把分数发回给训练器。forward_backward() 用它们计算梯度，optim_step() 将更新应用到模型权重。
刷新并重复 – 您的循环请求会话用更新后的权重刷新采样器，然后开始下一批。您的代码重复这些步骤，直到训练完成。

您按 SageMaker AI 处理的 token 数量付费。当您的奖励函数在自己的环境中对一批响应打分时，计量会停止，而且无需预留任何容量。

掌控您的数据和模型

每个会话都使用您创建的 AWS Identity and Access Management (IAM) 执行角色，您还可以添加自己的 AWS Key Management Service (AWS KMS) 密钥和虚拟私有云 (VPC) 配置。您的数据留在您所选 AWS 区域中您自己的 Amazon Simple Storage Service (Amazon S3) 存储桶里，您的检查点也保存在那里。

我们不会使用您的数据或您定制后的权重去训练其他模型。在部署之前，您可以评估模型的准确性、偏差和安全性。部署之后，您可以应用防护机制，并通过 Amazon CloudWatch 进行监控。

您可以继续使用您的团队已有的治理流程。

立即开始

在 SageMaker AI serverless 模型定制训练会话上编写您自己的训练循环，现已推出，支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。

两种开始方式：

在您的 IDE 中：安装 SageMaker Python SDK（支持 Linux 或 macOS 上的 Python 3.10 至 3.12），克隆 cookbook，即可开始开发。
在 SageMaker Studio 中：在不到 20 秒内启动一个开箱即用的 AI 开发环境。登录，打开笔记本，连接您的编码智能体（Kiro、Claude Code、Codex 或 Copilot），下载智能体技能和 cookbook，就可以开始了。

资源