跳到正文
AWS Machine Learning Blog· Madhu Parthasarathy·· 3 小时前AI 评分55

AWS 发布下一代 Amazon Bedrock AgentCore runtime,会话启动提速至 15 倍

Run agents securely and efficiently with the next generation AgentCore runtime

AI 导读

AWS 宣布 Amazon Bedrock AgentCore runtime 下一代版本上线,会话启动最快提升 15 倍(2 秒内),算力扩展至 8 vCPU 和 32 GB,效率提升最高 68%,隔离边界保持不变。空闲智能体可缩容至零、多轮场景每会话内存消耗最多降低 68%,并支持通过 FUSE 挂载 Amazon S3 等存储使数据也纳入信任边界;该版本已在北美、南美、欧洲和亚太区域可用。

正文 · AI 翻译

AI 智能体已经不再局限于一次性提示词。它们现在可以连续数小时运行多步骤工作负载。前沿智能体能独立完成的任务长度大约每四个月翻一番(METR),40% 的大型企业正在规模化部署 AI 智能体,高于一年前的 27%(McKinsey)。随着智能体运行时间更长、自主性更高,关注的焦点从智能体能做什么转向它们如何安全、可靠且经济高效地大规模运行。智能体与传统软件不同:它们执行代码、操作浏览器、访问敏感数据,并代表用户采取行动。这些能力带来了新的安全和基础设施需求,使得强隔离对于生产部署至关重要。

每个智能体会话都需要一个安全、隔离的环境。但大规模提供这种隔离带来了一个根本性挑战:如何平衡性能、成本和效率。预先配置的环境即使闲置也会消耗资源,推高成本。按需环境减少了资源浪费,但会引入冷启动延迟,拖慢智能体的执行。这两种方法都难以在不做出取舍的情况下高效扩展。当组织从部署少量智能体发展到运行数千个并发会话时,构建和管理自定义沙箱变得越来越复杂、昂贵且不可预测。

这一挑战显而易见。只有 15% 的组织成功扩展了编排式多智能体系统,70% 的组织表示他们尚无法信任和治理自己的智能体(Deloitte)。扩展智能体不应意味着在安全、速度和成本之间做出选择。下一代智能体基础设施必须在提供强隔离的同时,实现快速启动、弹性伸缩和基于用量的计费。因为当 AI 智能体走向生产环境时,安全执行不应成为瓶颈。它应该成为实现规模化可能性的基础。通往生产的最快路径也应当是最安全的路径。

下一代 AgentCore 运行时

我们构建了 Amazon Bedrock AgentCore,帮助开发者安全、大规模地构建、连接和优化智能体。AgentCore runtime 是 Amazon Bedrock AgentCore 的一项能力,是托管计算层。它为开发者提供了一个完全托管的环境,无需构建或维护基础设施即可部署和运行智能体。自发布以来,我们的客户不断将智能体推向日益复杂的工作负载。随着这些工作负载的增长,对执行环境的要求也在提高:更多算力、更灵活的计费方式,以及延伸到数据(而不仅仅是计算)的信任边界。只有底层基础设施兼顾规模与速度,智能体才能大规模进入生产环境。

今天,我们宣布 AgentCore runtime 的更新,以满足这些需求。核心承诺不变:每个会话都在其专属的硬件隔离 Firecracker 微虚拟机(MicroVM)中运行,拥有独立的身份、策略和审计轨迹。这些更新扩展了在这一保障范围内可实现的能力。会话的启动速度最高提升 15 倍,可扩展的算力提升 4 倍,运行效率最高提升 68%,同时隔离边界完全保持不变。

以下是本次更新的内容。

运行更大的工作负载,无需更长的等待启动时间

构建日益先进智能体的团队希望获得更多灵活性:能够在隔离会话内扩展内存与计算,以匹配其工作负载的需求。从大型代码库编译,到浏览器驱动的工作流,再到本地模型推理,执行环境都需要跟上节奏。

相比上一版本,会话现在可扩展 4 倍,最高可达 8 个 vCPU 和 32 GB 内存,并支持最大 10 GB 的容器镜像。会话启动时间不到 2 秒,且与镜像大小和并发量无关。你不再需要预热池和预置集群来管理冷启动。

“迁移到下一代 AgentCore 运行时后,我们的智能体会话冷启动时间从近一分钟缩短到不到五秒,即使在高峰流量下也是如此。它还消除了超过 30 秒的启动延迟,而与此同时,我们的每周智能体调用量增长了一倍以上。”

— Coinbase 工程副总裁 Siwei Shen

“Mission 正在使用 Amazon Bedrock AgentCore 运行时来驱动一个自然语言查询智能体,帮助用户获取房产和销售洞察,而无需 navigating 复杂的数据系统。在我们对两个运行时版本的初步对比中,相同工作负载下推理请求的冷启动速度提升了 35%,健康检查的启动速度提升了 77%,同时每次调用的实测运行时成本降低了 17%。在我们将企业级智能体投入生产的过程中,新的 AgentCore 运行时为我们提供了更快的智能体体验与更高效的资源利用这一令人信服的组合。”

— Mission Cloud 首席 AI 与数据科学家 Dr. Ryan Ries

“我们的方针是尽可能以自动化和 AI 智能体来运行 Zuora 的云服务,而这只有在运行时高效且可靠的前提下才能实现。下一代 AgentCore 运行时在许多用例中把每次调用的内存占用削减了约 60%,同时在延迟保持稳定的情况下处理更多流量。随着我们在整个平台扩展智能体工作负载,这为我们带来了更优的成本结构。”

— Zuora 云与安全副总裁 Brad Ruppert

“Rescale 平台帮助研发和工程团队通过智能体数字工程加速产品开发。我们面向工程的智能体验证仿真输入、排查任务问题、选择硬件并生成报告,同时工程师始终保持掌控。Amazon Bedrock AgentCore 运行时让我们能够在生产环境中部署和扩展这些智能体,而无需构建或运维底层的智能体基础设施,从而更快地向客户交付新的智能体。”

— Rescale 工程副总裁 Mark Whitney

停止为闲置的智能体付费

随着团队将智能体推向生产环境,他们希望计费方式能反映智能体的实际工作方式。智能体的大部分时间都花在等待模型响应、工具调用或人工决策上。智能体应该为其完成的工作付费,而不是为其等待的时间付费。

运行时现在可以在智能体释放内存后几分钟内回收内存,空闲智能体可缩减至零。对于交互之间有自然停顿的多轮智能体,这意味着每个会话最多可减少 68% 的内存消耗。对于持续运行的智能体,承诺基准定价为每个会话设定内存基准并按最低计费,同时可根据需要突发至该基准的四倍。这为稳定的工作负载提供了可预测的 AWS Lambda MicroVM 费率。运行时更高效地使用计算资源,因此完成同样的工作费用更低。这让通常阻碍生产部署的财务对话更容易谈拢。

“新一代 Amazon Bedrock AgentCore 运行时通过更快启动智能体和更高效地使用内存,帮助我们提供响应更迅速的 AI 体验。让消耗与实际使用保持一致,使我们的客户在扩展智能体解决方案的同时将成本与真实需求挂钩,信心十足。”

— Deloitte Consulting LLP AI 与数据负责人、Principal,Ashwin Patil

“AgentCore 运行时为我们围绕客户的数据、工具和业务流程构建智能体产品和平台提供了托管式基础。新一代 AgentCore 运行时通过恢复已初始化的环境和回收未使用的内存,使这一基础响应更迅速、资源利用率更高。我们开始在最新版本上构建,因为成本和延迟的降低对客户业务的运营方式产生了显著影响。”

— Caylent CTO,Randall Hunt

隔离现在延伸到您的数据

许多企业在其智能体安全模型中面临一个长期存在的缺口。智能体在一个隔离的会话中运行,但它所需的数据却位于该边界之外。长时间运行的智能体会不断积累上下文:文件、凭证、工具输出等等。团队最终不得不自行制定数据进出规则,每新增一个智能体都会增加复杂性和风险。

止步于计算层的隔离只是一半的边界。新一代 AgentCore 运行时填补了这一缺口。每个会话仍在各自硬件隔离的环境中运行,拥有自己的身份、访问策略和审计跟踪。智能体现在可以动态挂载文件系统并将其工作保存到文件系统,例如支持 FUSE 的 Amazon Simple Storage Service (Amazon S3) 存储桶。您的数据在整个任务期间都留在信任边界内,由您一次性定义的单一控制集进行治理。

“在 Okta,AgentCore 运行时与 Lambda MicroVM 的结合为我们提供了隔离的执行环境和上下文内存,使我们的智能体能够在临时沙箱中检查代码、运行测试套件并创建拉取请求。结合我们的身份治理策略控制,AgentCore 运行时和 Lambda MicroVM 展示了我们如何安全地扩展自主工程智能体,而不会面临工作区泄露或权限提升的风险。”

— Okta 工程高级副总裁,Monica Bajaj

“从帮助购车者评估置换车价值,到帮助经销商预约服务和构建交易方案,Amazon Bedrock AgentCore 为 Cox Automotive 各品牌的数十个智能体解决方案提供支持。拥有一个统一且受治理的智能体平台,让我们各业务团队可以满怀信心地从试点走向生产。”

— Cox Automotive 产品与工程副总裁,Chris Dillon

我们的承诺

能够进入生产环境的智能体,是那些你可以放心委以行动的智能体——涉及真实数据、真实风险和真实问责。信任不是事后添加的功能,而是你构建其上的运行时。本次发布是迈向那个未来的一步:更大的会话、高效的资源利用,以及位于信任边界之内的存储,同时不放松让工作值得信赖的隔离机制。到 re:Invent 时,按会话划分的作用域将通过会话标签凭证把每个会话绑定到各自的存储文件夹,我们将在此基础上继续构建。

开始使用

新一代 AgentCore 运行时现已在北美、南美、欧洲和亚太地区的 AWS 区域推出。访问 Amazon Bedrock AgentCore 开始构建,或打开 Amazon Bedrock 控制台 开始探索。


关于作者

来源: AWS Machine Learning Blog · aws.amazon.com