Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2
Google DeepMind 发布 EmbeddingGemma 2，基于 Gemma 4 架构、740M 参数，采用 Apache 2.0 许可，将文本、代码、图像、视频和音频统一映射到共享嵌入空间。
推荐理由：官方给出了参数量、内存占用和基准得分等具体指标，可帮助读者评估它是否适合端侧检索场景。
端侧 AI
全部主题跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
最新精选
第 1–8 条 · 共 8 条Google DeepMind精选AI 评分6868
Hugging Face Blog精选AI 评分6060 Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型，加速视觉语言推理
Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在不改变输出质量的前提下换取更快推理，解码在设备端最高加速 3.13x、H100 上最高 2.66x，端到端分别为最高 2.62x 和 2.27x。
推荐理由：原文给出视觉语言模型的投机解码加速方案、具体倍数与内存开销，并覆盖 llama.cpp、MLX-VLM、SGLang 的接入方法。
Hugging Face Blog精选AI 评分7070 transformers 支持直接运行 llama.cpp GGUF 量化模型
Hugging Face 宣布 transformers 支持加载 GGUF 模型，通过 from_pretrained 传入 gguf_file 即可在本机运行 Hub 上的量化检查点。
推荐理由：Hugging Face 官方给出 GGUF 在 transformers 中的用法和与 llama.cpp 的实测对比，读者可据此判断本地推理的可行路径。
Hugging Face Blog精选AI 评分6666 LiquidAI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.18x
LiquidAI 为 LFM2.5 系列的 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，通过投机解码在不改变输出质量的前提下加速推理，H100 上吞吐最高提升 3.18x，端侧最高 2.87x。
推荐理由：官方给出 DSpark 投机解码草稿模型的实测加速数据和 llama.cpp、SGLang 用法，端侧部署者可对照判断收益。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemma 4 12B 统一无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款统一、无编码器的多模态模型，视觉和音频输入直接进入 LLM backbone，定位介于 E4B 与 26B MoE 之间。
推荐理由：原文给出无编码器架构、16GB 内存可跑和 Apache 2.0 开源等具体变化，读者可据此评估端侧部署选择。
Mistral AI精选AI 评分6565 Mistral 发布 Voxtral Transcribe 2 语音转写模型，Realtime 开放权重
Mistral AI 发布 Voxtral Transcribe 2，含 Voxtral Mini Transcribe V2 与 Voxtral Realtime 两款语音转写模型，支持 13 种语言、说话人分离和词级时间戳。
推荐理由：官方给出两款转录模型的延迟、错误率和价格数据，并开放 Realtime 权重，读者可据此对比现有语音方案。
Mistral AI精选AI 评分7878 Mistral 发布 Mistral 3 系列模型，含 Mistral Large 3 与 Ministral 3，均采用 Apache 2.0 开源
Mistral 发布新一代模型系列 Mistral 3，包括 MoE 架构的 Mistral Large 3（41B 激活、675B 总参数）以及 3B、8B、14B 三个尺寸的 Ministral 3 模型，全部以 Apache 2.0 协议开源。
推荐理由：官方公告完整列出了模型规格、开源协议、部署方式与可用平台，读者可据此评估在自有环境落地的可行性。
Mistral AI精选AI 评分6262 Mistral 发布 Small 3.1：多模态、128k 上下文、Apache 2.0 开源
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上改进文本性能、增加多模态理解，上下文窗口扩至 128k tokens，推理速度达 150 tokens 每秒。
推荐理由：原文来自官方发布，给出基准对比、开源协议和硬件要求，读者可以据此评估它在轻量部署场景的可用性。