AWS 如何基于 Amazon EKS、EFA 与 DeepEP 扩展 MoE 强化学习，吞吐提升 40%
AWS 提出基于 Amazon EKS、EFA 和 DeepEP 的架构，用于加速 MoE 模型的大规模强化学习后训练，吞吐量提升 40%。该方案针对 RLHF、PPO、GRPO 等工作负载，解决 rollout 生成与策略训练的资源平衡、跨数百个加速器的高吞吐通信，以及 Expert Parallelism 带来的动态 all-to-all token 路由通信开销等问题。
#部署/工程
#部署/工程
今日 10 条AWS Machine Learning BlogAI 评分3131 AWS Machine Learning BlogAI 评分4343 用 SkyRL 在 Amazon SageMaker HyperPod 上加速多模态 RL 训练
AWS 展示了如何在 SageMaker HyperPod 上用开源 RL 框架 SkyRL 训练 Qwen3-VL-8B 视觉语言模型完成视觉迷宫导航任务。基于 VisGym SFT checkpoint，使用 GRPO 后训练将 64 个固定迷宫评测集的解题率从 43.75% 提升到 95% 以上。
AWS Machine Learning BlogAI 评分5151 AWS 详解 NarrateAI 在 Amazon Bedrock 上的五项生产级 LLM 质量保障技术
AWS 团队发文详解 NarrateAI 在 Amazon Bedrock 上实现生产级 LLM 质量保障的五项技术：自适应流水线路由、跨账号多模型容灾、实时流式评估、复合评估框架和数据准确性校验。
AWS Machine Learning BlogAI 评分5151 在 Amazon SageMaker AI 上部署 Qwen3-TTS-12Hz-1.7B-Base 实现实时语音克隆
AWS Solutions Architect 撰文演示通过 Amazon SageMaker JumpStart 部署 Qwen3-TTS-12Hz-1.7B-Base 到实时推理端点，用几秒参考音频克隆说话人声音而无需重训模型。
AWS Machine Learning BlogAI 评分2222 Datacor 如何用 Amazon Quick Sight 构建自助式租赁数据分析
Datacor 将 Amazon Quick Sight 集成到其 TrackAbout 解决方案中，为工业气体与焊接分销商提供自助式租赁数据分析，无需提交 IT 工单或等待数天甚至数周的自定义报表。
Hugging Face Blog精选AI 评分6060 Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型，加速视觉语言推理
Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在不改变输出质量的前提下换取更快推理，解码在设备端最高加速 3.13x、H100 上最高 2.66x，端到端分别为最高 2.62x 和 2.27x。
推荐理由：原文给出视觉语言模型的投机解码加速方案、具体倍数与内存开销，并覆盖 llama.cpp、MLX-VLM、SGLang 的接入方法。
GitHub Blog · AI & ML精选AI 评分6060 GitHub Copilot app 如何渲染 2200 个文件、超百万行变更的超大 Pull Request
GitHub Copilot app 团队重建了 Pull Request 视图，使其能流畅打开一个含 2,200 个文件、超过一百万变更行和 400 多条行内评论的开源 PR。
推荐理由：作者以第一手视角拆解了超大 PR 渲染的双几何架构和自动化测量方法，思路对处理大规模动态内容界面有借鉴意义。
Microsoft ResearchAI 评分4949 Microsoft Research：物理 AI 机器人推理卸载研究挑战机载 GPU 假设
Microsoft Research 的研究显示，仅依赖机器人机载 GPU 运行物理 AI 推理会限制性能、续航和可扩展性，将推理卸载到边缘或云端 GPU 可显著改善。
Google DeepMindAI 评分5353 Google Private AI Compute 新增安全服务端持久记忆
Google Private AI Compute 团队宣布为该平台加入私密的服务端持久记忆，使 AI 助手获得跨设备长期记忆，同时保持端侧处理级别的隐私标准。
OpenAI NewsAI 评分5555 OpenAI 改进 GPT-6 提示词缓存
OpenAI 介绍 GPT-6 在提示词缓存方面的改进，包括更高的缓存命中率、新的诊断工具、显式断点以及相关控制选项，用于降低延迟和成本。
NVIDIA BlogAI 评分4040 NVIDIA 推出 DSX Ready 认证计划，为 AI 工厂筛选电源与散热产品
NVIDIA 推出 DSX Ready 认证计划，对符合 NVIDIA DSX AI 工厂参考设计要求的合作伙伴产品进行资格认证，首批涵盖电池储能系统（BESS）和冷却液分配单元（CDU）两个类别。
NVIDIA BlogAI 评分3030 NVIDIA：Physical AI 规模化部署为何需要每一层的安全保障
NVIDIA 阐述 Physical AI（自动驾驶汽车、人形机器人与工业机器人）规模化部署必须覆盖硬件、软件、AI 行为与运行环境各层的安全体系。ABI Research 预计到 2035 年 L3-L5 自动驾驶汽车保有量达 4900 万辆，Omdia 估计 2026-2035 年将部署约 6000 万台工业机器人。
NVIDIA BlogAI 评分4040 埃及 AI 生态从能力建设走向落地执行，迈向生产级规模
埃及在 Grand Egyptian Museum 举行 AI 生态活动，NVIDIA 高管出席，埃及 NVIDIA Deep Learning Institute 学习者一年内增长逾十倍；Hassan Allam Utilities 与 A15 计划投资约 $400 million 建设新数据中心。
NVIDIA BlogAI 评分5151 NVIDIA 提出 AI 安全是工程问题：如何为 Agent 全栈各层构建可验证的安全控制
NVIDIA 发文提出 AI 安全应作为工程问题对待，需要明确的安全需求、可强制执行的控制、指定负责人和防护有效的证据。
NVIDIA BlogAI 评分3232 五家使用 NVIDIA AI 推进清洁能源的公司
NVIDIA 在纽约气候周展示了五家将 AI 融入清洁能源项目的公司。ThinkLabs AI 用数字孪生把 Southern California Edison 的电网互联评估时间从 30-45 天缩短到两分钟。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布 tokenizers v1 候选版，单线程编码最快提升至 v0.23 的 30 倍
Hugging Face 发布 tokenizers v1 候选版，在 Apple M4 Max 上单线程编码比 v0.23 快 3 到 30 倍，八线程扩展达线性的 76%，且输出 token ID 完全一致。
推荐理由：官方详述 tokenizers v1 的性能优化手段和可复现基准，读者可以据此评估升级对训练与推理数据供给的实际收益。
SK hynix 内存技术AI 评分3434 SK hynix 在 AI Infra Summit 2026 展示 AI 基础设施“新蓝图”
SK hynix 参加于 9 月 15-17 日在美国圣克拉拉举办的 AI Infra Summit 2026，以“New Spectrum”为主题展示下一代 AI 内存方案，参会人数约 6,000 人、较上年翻倍。
GitHub Blog · AI & ML精选AI 评分7777 GitHub 用 Copilot 将 Copilot agent runtime 迁移到 83 万行 Rust
GitHub 作者 Stephen Toub 撰文介绍团队借助 GitHub Copilot 应用与 CLI，把 Copilot agent runtime 从 TypeScript/Node.js 完全重写为 832,378 行生产 Rust，AI 智能体完成了大部分代码，共落成 128 个 pull request，原需一两人年的项目仅由一名开发者在数月内完成。
推荐理由：作者亲历整场迁移，给出代码量、发布节奏与缓存命中率等一手数据，读者可以借此评估智能体主导大型重写的可行路径。
NVIDIA BlogAI 评分4444 NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 预览提交中首次亮相，Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7x，DeepSeek-R1 上达 2.5x。
NVIDIA BlogAI 评分4848 Emerald AI、Google 与 NVIDIA 成立 AI Energy Management Alliance，推动电网灵活型 AI 数据中心
Emerald AI、Google 与 NVIDIA 宣布成立 AI Energy Management Alliance（AEMA），推动数据中心根据电网状况动态调整用电。该联盟坚持技术中立、按性能衡量，将统一技术要求与性能指标，为做出可验证灵活性承诺的用户提供更快的并网通道。AEMA 汇聚 AI 平台、数据中心运营商、公用事业和电网运营商等全产业链成员，共同推进美国 AI 基础设施建设。
NVIDIA BlogAI 评分4848 曼彻斯特大学用 NVIDIA Earth-2 预测全英国空气污染
曼彻斯特大学与 NVIDIA Earth-2 团队合作，将 Earth-2 CorrDiff 生成式降尺度模型改用于空气污染预测，并加装了可直接利用空气质量观测数据的 Earth-2 StormCast。
GitHub Blog · AI & MLAI 评分5555 GitHub 日韩营销负责人如何用 GitHub Copilot 把活动运营变成代码化流程
GitHub 日本和韩国市场营销负责人 Tomoko Tanaka 撰文介绍，她没有写代码，而是把活动运营 runbook 交给 GitHub Copilot。
OpenAI NewsAI 评分2828 OpenAI 如何将 Habitat 快速扩容为服务超 10 亿 ChatGPT 用户的在线存储平台
OpenAI 将 Habitat 从一个 Python 库演进为全球分布式存储平台，支撑超过 10 亿 ChatGPT 用户和每秒 22M 请求的在线存储需求。
Mistral AIAI 评分4242 Mistral 与 Cloudera 达成合作，为企业数据带来专属主权 AI
Mistral 与 Cloudera 宣布合作，将 Mistral 模型集成到 Cloudera 混合数据平台，支持企业在私有云、公有云、本地及完全隔离（air-gapped）环境中运行推理。企业还可在受控环境中用自有专有数据训练定制模型，并保留数据与产出的智能的所有权。此次合作面向主权 AI 需求，覆盖 Cloudera 平台上 30 EB 的客户管理数据。
Hugging Face BlogAI 评分5959 Hugging Face 用 Gradio Workflow 重建 AUTOMATIC1111，发布 Workflow1111 工作流画布
Hugging Face 发布 Workflow1111，将 AUTOMATIC1111 的主要功能重建为单个 Gradio Workflow 画布，包含 11 条媒体管线、73 个节点，覆盖文生图、hi-res fix、图生图、prompt 矩阵、VLM 反推、检测生成 inpaint 蒙版、ControlNet 风格预处理器、背景去除、PNG Info 和图生视频。
Hugging Face BlogAI 评分5252 TRL AsyncGRPOTrainer 用 LoRA 和 Storage Bucket 在 HF Jobs 上跨机训练，无需 NCCL，500 步从 3 小时 27 分提速到 53 分钟
Hugging Face 在 TRL v1.14 中让 AsyncGRPOTrainer 支持 LoRA 训练并仅同步几 MB 的适配器到 vLLM，借助 Storage Bucket 挂载在 trainer 与两个 vLLM replica 之间共享文件，配合一个负责加 auth 头、按 KV 前缀路由请求和广播适配器加载的代理，无需 NCCL 跨机通信。
Hugging Face BlogAI 评分5454 Hugging Face 教程：用 GRPO 微调 LFM2.5-350M，100 步提升 IFStruct 结构化输出得分
Hugging Face 博客发布教程，用 TRL 库以 GRPO 微调 LiquidAI/LFM2.5-350M 提升结构化输出合规性，仅约 500 样本、100 步训练即可在免费档 Colab 或 Kaggle GPU 上完成。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 @huggingface/kernels：207 个 WebGPU 内核用于浏览器本地推理
Hugging Face WebAI 团队发布 @huggingface/kernels 库，从 Hub 加载并运行 207 个经优化的 WebGPU 内核，采用 Apache-2.0 许可。
推荐理由：官方发布了 207 个 WebGPU 内核、JS 加载器和众测工具 Fleet，并给出与 ORT WebGPU 的实测对比数据。
SK hynix 内存技术AI 评分4040 SK hynix 解析：为什么光靠更快的 GPU 无法提升 AI 性能
SK hynix 在 AI Infrastructure Insight 系列文章中指出，AI 性能不能只靠 GPU 等加速器的算力，还需内存带宽、网络、存储与散热协同。
Hugging Face Blog精选AI 评分6666 Gradio 发布 gr.Workflow：用类型化节点图搭建可部署的 AI 流水线
Hugging Face 在 Gradio 中推出 gr.Workflow，把 AI 应用流水线直接做成界面：用类型化节点描述步骤，提供拖拽画布，每个节点可运行、每个中间结果可见。
推荐理由：原文给出 gr.Workflow 的节点类型、REST API 与部署方式，并附多个可打开复制的 Space 示例，便于直接上手搭建 AI 流水线。
Hugging Face Blog精选AI 评分6666 LiquidAI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.18x
LiquidAI 为 LFM2.5 系列的 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，通过投机解码在不改变输出质量的前提下加速推理，H100 上吞吐最高提升 3.18x，端侧最高 2.87x。
推荐理由：官方给出 DSpark 投机解码草稿模型的实测加速数据和 llama.cpp、SGLang 用法，端侧部署者可对照判断收益。
Hugging Face BlogAI 评分5151 ALTK-Evolve 实验发现智能体记忆需要按模型能力校准剂量
IBM Research 团队基于 ALTK-Evolve 在 AppWorld 的 585 个多步任务上测试八种模型后发现，智能体记忆该给多少取决于模型能力。
Hugging Face BlogAI 评分3737 Hugging Face 推出约束感知 GPU 分配器：同一集群利用率提升 33 个百分点，改变的只是分配顺序
Hugging Face 构建了一个约束感知 GPU 分配器，并在七个基准场景中与 FIFO 调度器对比。在相同硬件与相同负载下，GPU 利用率最多提升 33 个百分点（如 8 GPU 训练型负载从 53.6% 升至 87.0%），优先级加权产出在每个场景均上升，最高达 105%，平均 52%。核心改法是把实时推理需求按曲线逐时间步分配、批类任务按优先级跨整个调度周期放置，而非按到达顺序分配。
Mistral AIAI 评分4444 Mistral 推进区域推理、开放模型与欧洲主权 AI 基础设施
Mistral 推出三项举措强化 AI 主权：Mistral Regional Endpoints 正式可用，可让推理在欧洲或美国进行；Mistral Priority Tier 公开预览，提供自定义速率限制和由 uptime SLA 保障的关键工作负载服务等级。
Hugging Face BlogAI 评分5757 NVIDIA Magpie TTS Multilingual 发布开放权重更新，新增阿拉伯语、韩语和巴西葡萄牙语
NVIDIA 发布 Magpie TTS Multilingual 更新，该 364M 参数开放权重模型现支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语。
Hugging Face BlogAI 评分4848 Hugging Face 提出 Offline Top-K Logits 与融合分块 KL 损失，让知识蒸馏成本大幅下降
Hugging Face 发布论文，通过缓存 teacher 的 top-100 logits 实现 offline 蒸馏，并引入 fused chunked KL 损失，避免生成全词表×序列长度的矩阵。
Hugging Face Blog精选AI 评分7878 Meta 发布开源多模态模型 Muse Glimmer-30B，主打本地智能体场景
Meta 今日发布 30B 参数多模态开源模型 Muse Glimmer，从 Muse 蒸馏而来，采用 Apache 2.0 许可，面向本地部署的隐私场景与编码、文档分析、个人助理等智能体用途。
推荐理由：原文给出架构细节、Agent 基准对比和各推理栈的 day-0 用法，读者可据此评估本地多模态部署的选择。
Hugging Face BlogAI 评分4141 Baseten 接入 Hugging Face Inference Providers
Baseten 正式成为 Hugging Face Hub 支持的 Inference Provider，首发支持对话与文本生成任务，可通过 Baseten 调用 Kimi K3、DeepSeek V4 Flash、GLM-5.2 等开源权重 LLM。
Hugging Face BlogAI 评分4141 GPU 管理：为什么闲置 GPU 是新的“停飞客机”
企业 AI 的下一个真正约束是 GPU 利用率而非模型智能——GPU 按日历小时产生融资、折旧、电力和散热成本，但产出只按计算小时计，与民航客机停飞成本结构相同。
Berkeley AI ResearchAI 评分5252 K-Search 新增 MLX 后端，用 CUDA 经验在 Apple Silicon 上实现近专家级内核
研究者将 Berkeley Sky Lab 的演化式内核搜索框架 K-Search 扩展出 MLX 后端，通过结构化 CUDA 到 MLX 翻译层把数十年的 NVIDIA 内核优化知识迁移到 Apple Silicon。