跳到正文

#推理

今日 10 条
7月10日周五
  1. Hugging Face Blog61

    Hugging Face 发布 PyTorch Profiling 系列第三篇:用 profiler 拆解 attention 的六种实现

    Hugging Face 发布 Profiling in PyTorch 系列第三篇,在 NVIDIA A100 上用 profiler 对比朴素 attention、in-place 掩码、SDPA math/efficient/flash/cuDNN 六种实现的 trace。

    推荐理由:原文用 profiler 实测六种 attention 实现的内核差异,读者可以学会从 trace 里读出 inplace 省一次拷贝、SDPA 各后端的真实代价。

7月2日周四
  1. Mistral AI65

    Mistral 发布 Leanstral 1.5:119B 总参数 6B 激活,Apache-2.0 开源形式化验证模型

    Mistral 发布 Apache-2.0 开源模型 Leanstral 1.5,119B 总参数、6B 激活参数,通过 mid-training、监督微调和 CISPO 强化学习训练。

    推荐理由:官方披露了完整训练流程、基准数字和真实代码验证案例,读者可以据此评估形式化验证模型在数学证明和开源查错上的实用程度。

7月1日周三
6月25日周四
6月11日周四
  1. Google DeepMind70

    Google DeepMind 发布开源实验模型 DiffusionGemma,GPU 文本生成提速至 4x

    Google DeepMind 发布开源实验模型 DiffusionGemma,基于文本扩散方法生成整块文本,在专用 GPU 上推理速度最高达 4x(单张 NVIDIA H100 超 1000 tokens/秒,RTX 5090 超 700 tokens/秒)。

    推荐理由:官方明确了 4x 提速的具体硬件数字和输出质量取舍,读者可以据此判断它适不适合本地低并发场景。

6月8日周一
5月29日周五
5月27日周三
5月11日周一
5月8日周五
4月30日周四
4月20日周一
3月25日周三
3月17日周二
12月3日周三
  1. Mistral AI78

    Mistral 发布 Mistral 3 系列模型,含 Mistral Large 3 与 Ministral 3,均采用 Apache 2.0 开源

    Mistral 发布新一代模型系列 Mistral 3,包括 MoE 架构的 Mistral Large 3(41B 激活、675B 总参数)以及 3B、8B、14B 三个尺寸的 Ministral 3 模型,全部以 Apache 2.0 协议开源。

    推荐理由:官方公告完整列出了模型规格、开源协议、部署方式与可用平台,读者可据此评估在自有环境落地的可行性。

11月1日周六
9月1日周一
6月10日周二