跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 1–4 条 · 共 4 条
10月1日周四
  1. The Decoder78

    Meta 将 AI 数据中心归类为试验模型,2025 年省税 39 亿美元

    Meta 将 AI 数据中心归类为“试验模型”、Nvidia 芯片列为实验材料,借助联邦研发税收抵免在 2025 年省下 39 亿美元,高于前一年的 20 亿和 2023 年的 7 亿,成为上市公司中该抵免的最大受益者。

    推荐理由:原文给出具体免税金额变化和SEC风险披露,读者可据此了解AI基建投资如何借助1981年研发税收抵免变现。

9月3日周四
8月25日周二
  1. Hugging Face Blog61

    IBM 发布 Granite 4.2 推理模型家族,详解 15T token 预训练与多阶段 RL 训练管线

    IBM 发布 Granite 4.2 推理模型家族,含 3B、8B、30B 三个稠密解码器模型,基于 Granite 4.1 基座(从头在约 15T token 上预训练,五阶段策略将上下文扩展至 512K),经 SFT 与多阶段 GRPO 强化学习后训练,全部以 Apache 2.0 许可开源。

    推荐理由:官方完整披露从预训练、SFT 到多阶段 GRPO 和智能体 RL 的训练细节,可迁移到类似模型的构建流程。

3月12日周四
  1. Google Research62

    Google 发布 Groundsource:用 Gemini 将新闻报道转化为 260 万条洪水历史数据

    Google Research 推出 Groundsource,利用 Gemini 从 80 种语言的新闻报道中提取结构化灾害记录,构建覆盖 150 多个国家、2000 年至今的 260 万条城市山洪事件开放数据集。

    推荐理由:原文给出了用 Gemini 从新闻中提取灾害数据的完整方法和验证数字,读者可以据此评估其研究价值。