跳到正文

#部署/工程

今日 0 条
9月29日周二
9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,加速视觉语言推理

    Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取更快推理,解码在设备端最高加速 3.13x、H100 上最高 2.66x,端到端分别为最高 2.62x 和 2.27x。

    推荐理由:原文给出视觉语言模型的投机解码加速方案、具体倍数与内存开销,并覆盖 llama.cpp、MLX-VLM、SGLang 的接入方法。

9月16日周三
8月21日周五
  1. Hugging Face Blog66

    LiquidAI 发布 LFM2.5-DSpark 草稿模型,推理最高提速 3.18x

    LiquidAI 为 LFM2.5 系列的 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下加速推理,H100 上吞吐最高提升 3.18x,端侧最高 2.87x。

    推荐理由:官方给出 DSpark 投机解码草稿模型的实测加速数据和 llama.cpp、SGLang 用法,端侧部署者可对照判断收益。

8月11日周二
8月10日周一
  1. Hugging Face Blog78

    Meta 发布开源多模态模型 Muse Glimmer-30B,主打本地智能体场景

    Meta 今日发布 30B 参数多模态开源模型 Muse Glimmer,从 Muse 蒸馏而来,采用 Apache 2.0 许可,面向本地部署的隐私场景与编码、文档分析、个人助理等智能体用途。

    推荐理由:原文给出架构细节、Agent 基准对比和各推理栈的 day-0 用法,读者可据此评估本地多模态部署的选择。

12月9日周二
  1. Mistral AI72

    Mistral AI 发布 Devstral 2(123B)与 Devstral Small 2(24B)编码模型及 Mistral Vibe CLI

    Mistral AI 发布开源编码模型家族 Devstral 2,包含 123B 的 Devstral 2(modified MIT 许可)和 24B 的 Devstral Small 2(Apache 2.0),两者均支持 256K 上下文窗口,分别在 SWE-bench Verified 上取得 72.2% 和 68.0%。

    推荐理由:官方公布了两个尺寸编码模型的开源协议、SWE-bench Verified 成绩、API 定价和硬件要求,可据此评估本地或端侧部署的可行性。

7月30日周三