Hugging Face Blog·· 13 天前精选AI 评分60
Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型，加速视觉语言推理
Accelerating vision-language models with LFM2.5-VL-DSpark
AI 导读
Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在不改变输出质量的前提下换取更快推理，解码在设备端最高加速 3.13x、H100 上最高 2.66x，端到端分别为最高 2.62x 和 2.27x。
推荐理由
原文给出视觉语言模型的投机解码加速方案、具体倍数与内存开销，并覆盖 llama.cpp、MLX-VLM、SGLang 的接入方法。
来源：Hugging Face Blog · huggingface.co