跳到正文

#部署/工程

今日 14 条
9月30日周三
  1. AWS Machine Learning Blog37

    Amazon Quick 提示词工程基础指南(系列上篇)

    AWS 发布 Amazon Quick 提示词工程基础教程,讲解如何通过结构化提示词让平台的 AI 功能更准确地响应自然语言请求。文章介绍核心原则——明确性、提供业务上下文、用示例示范输出格式,并给出适用于各组件的 CRISPE 通用提示词框架(含 Context、Role、Intent、Steps 等要素)。

9月29日周二
  1. MIT Technology Review · AI23

    让 AI 成为资产而非开支

    当 AI 从试点走向生产化,仅按 token 消耗付费可能使开支难以预测。企业应根据工作负载逐项评估自有容量与消费式采购的经济平衡点,在持续需求达到足够利用率时投资可控容量,并通过运营管理让容量保持高产,从而把 AI 从开支变为资产。

9月28日周一
9月26日周六
  1. AWS Machine Learning Blog31

    AWS 如何基于 Amazon EKS、EFA 与 DeepEP 扩展 MoE 强化学习,吞吐提升 40%

    AWS 提出基于 Amazon EKS、EFA 和 DeepEP 的架构,用于加速 MoE 模型的大规模强化学习后训练,吞吐量提升 40%。该方案针对 RLHF、PPO、GRPO 等工作负载,解决 rollout 生成与策略训练的资源平衡、跨数百个加速器的高吞吐通信,以及 Expert Parallelism 带来的动态 all-to-all token 路由通信开销等问题。

9月25日周五
9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,加速视觉语言推理

    Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取更快推理,解码在设备端最高加速 3.13x、H100 上最高 2.66x,端到端分别为最高 2.62x 和 2.27x。

    推荐理由:原文给出视觉语言模型的投机解码加速方案、具体倍数与内存开销,并覆盖 llama.cpp、MLX-VLM、SGLang 的接入方法。

  2. GitHub Blog · AI & ML60

    GitHub Copilot app 如何渲染 2200 个文件、超百万行变更的超大 Pull Request

    GitHub Copilot app 团队重建了 Pull Request 视图,使其能流畅打开一个含 2,200 个文件、超过一百万变更行和 400 多条行内评论的开源 PR。

    推荐理由:作者以第一手视角拆解了超大 PR 渲染的双几何架构和自动化测量方法,思路对处理大规模动态内容界面有借鉴意义。

9月23日周三
9月22日周二
9月21日周一
  1. Hugging Face Blog64

    Hugging Face 发布 tokenizers v1 候选版,单线程编码最快提升至 v0.23 的 30 倍

    Hugging Face 发布 tokenizers v1 候选版,在 Apple M4 Max 上单线程编码比 v0.23 快 3 到 30 倍,八线程扩展达线性的 76%,且输出 token ID 完全一致。

    推荐理由:官方详述 tokenizers v1 的性能优化手段和可复现基准,读者可以据此评估升级对训练与推理数据供给的实际收益。

9月17日周四
  1. GitHub Blog · AI & ML77

    GitHub 用 Copilot 将 Copilot agent runtime 迁移到 83 万行 Rust

    GitHub 作者 Stephen Toub 撰文介绍团队借助 GitHub Copilot 应用与 CLI,把 Copilot agent runtime 从 TypeScript/Node.js 完全重写为 832,378 行生产 Rust,AI 智能体完成了大部分代码,共落成 128 个 pull request,原需一两人年的项目仅由一名开发者在数月内完成。

    推荐理由:作者亲历整场迁移,给出代码量、发布节奏与缓存命中率等一手数据,读者可以借此评估智能体主导大型重写的可行路径。

9月16日周三
  1. NVIDIA Blog48

    Emerald AI、Google 与 NVIDIA 成立 AI Energy Management Alliance,推动电网灵活型 AI 数据中心

    Emerald AI、Google 与 NVIDIA 宣布成立 AI Energy Management Alliance(AEMA),推动数据中心根据电网状况动态调整用电。该联盟坚持技术中立、按性能衡量,将统一技术要求与性能指标,为做出可验证灵活性承诺的用户提供更快的并网通道。AEMA 汇聚 AI 平台、数据中心运营商、公用事业和电网运营商等全产业链成员,共同推进美国 AI 基础设施建设。

9月12日周六
9月11日周五
9月10日周四
  1. Mistral AI42

    Mistral 与 Cloudera 达成合作,为企业数据带来专属主权 AI

    Mistral 与 Cloudera 宣布合作,将 Mistral 模型集成到 Cloudera 混合数据平台,支持企业在私有云、公有云、本地及完全隔离(air-gapped)环境中运行推理。企业还可在受控环境中用自有专有数据训练定制模型,并保留数据与产出的智能的所有权。此次合作面向主权 AI 需求,覆盖 Cloudera 平台上 30 EB 的客户管理数据。