跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 29 条
今天10月7日周三
9月30日周三
  1. Hugging Face Blog63

    Hugging Face 发布 Open TTS Leaderboard:用客观指标评测多语言 TTS 与声音克隆

    Hugging Face 推出 Open TTS Leaderboard,用 Qwen3 ASR 的 WER/CER、H200 上的 RTFx 和 TTFA 以及 WavLM 说话人相似度等客观指标评估开源 TTS 模型,把单模型评测时间从约两周缩短到数小时。

    推荐理由:原文说明了用客观指标将 TTS 评测从数周缩到数小时的做法,以及主流竞技场对开源模型覆盖不足的结构性原因。

9月29日周二
  1. Microsoft Research62

    Microsoft Research 发布面向生物学的 AI 研究系统 Quine

    Microsoft Research 推出 Quine,一个包含生物学多模态世界模型和连接科学工具、文献与科研人员的交互框架的研究系统。它与 Broad Institute 合作将其用于胰腺导管腺癌(PDAC)研究,预测并排序可驱动肿瘤细胞状态转变的化合物,湿实验验证了排名靠前的候选化合物,从缩小化合物范围到确定待验证候选只需一个周末。

    推荐理由:微软官方介绍 Quine 的架构与 PDAC 癌症研究实测结果,读者可以了解 AI 世界模型如何压缩湿实验迭代周期。

9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,加速视觉语言推理

    Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取更快推理,解码在设备端最高加速 3.13x、H100 上最高 2.66x,端到端分别为最高 2.62x 和 2.27x。

    推荐理由:原文给出视觉语言模型的投机解码加速方案、具体倍数与内存开销,并覆盖 llama.cpp、MLX-VLM、SGLang 的接入方法。

9月2日周三
  1. Google DeepMind70

    Google DeepMind 为 Gemini 3.7 Flash 等 Flash 模型推出 agentic 视频理解功能

    Google DeepMind 发布 agentic video understanding,覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite,通过动态搜索和检查视频片段替代固定 1 FPS 的静态处理,官方基准显示成本最多降 66%、token 消耗最多降 88%、准确率最多提升 7%。

    推荐理由:官方给出成本、token 和准确率的具体变化数字与开启方式,开发者可直接评估是否切换现有视频处理流程。

8月28日周五
  1. Google DeepMind60

    Google DeepMind 发布 Gemini Omni 1.1 Flash,强化生成视频创作控制

    Google DeepMind 于 8 月 27 日发布 Gemini Omni 1.1 Flash,带来面向开发者的生成视频创意控制套件,可通过 Gemini API 在 Google AI Studio 中使用。

    推荐理由:官方发布给出了场景延展、关键帧插值、4K 放大等新能力的具体参数和开放渠道,开发者可据此评估是否接入生成视频工作流。

8月12日周三
  1. Google DeepMind74

    Google DeepMind 发布手语转文本模型 SL2T,登陆 Gboard 和 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本(SL2T)翻译模型,为聋人和听障用户带来新的手语输入功能,率先在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文,后续将扩展更多设备和语言。

    推荐理由:原文给出模型训练规模、基准分数和隐私设计等具体细节,读者可以了解手语翻译落地的真实技术路线。

8月10日周一
  1. Hugging Face Blog78

    Meta 发布开源多模态模型 Muse Glimmer-30B,主打本地智能体场景

    Meta 今日发布 30B 参数多模态开源模型 Muse Glimmer,从 Muse 蒸馏而来,采用 Apache 2.0 许可,面向本地部署的隐私场景与编码、文档分析、个人助理等智能体用途。

    推荐理由:原文给出架构细节、Agent 基准对比和各推理栈的 day-0 用法,读者可据此评估本地多模态部署的选择。

7月30日周四
  1. Google DeepMind67

    Google DeepMind 发布 Gemini Robotics ER 2,强化视频理解、任务编排与多机器人协作

    Google DeepMind 发布 Gemini Robotics ER 2,定位为机器人的高层具身推理模型,可编排 VLA 模型等底层控制接口并调用 Google Search 等工具。

    推荐理由:官方给出了进度分类、时刻定位等具体基准数字和多机器人协作演示,读者可据此评估这款具身推理模型在真实机器人编排中的可用性。

7月15日周三
  1. Hugging Face Blog80

    Thinking Machines 发布万亿参数开源多模态模型 Inkling 及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布开源多模态模型 Inkling,总参数约 1T(975B,激活 41B 的 MoE),原生接收图像、文本和音频输入,支持 1M 上下文,训练数据为 45 万亿 token,包含 BF16 和 NVFP4 权重。

    推荐理由:官方博客给出架构细节、各档位 VRAM 需求和部署配置,读者可以据此评估多模态部署成本与选型。

7月1日周三
6月23日周二
  1. Mistral AI70

    Mistral 发布 OCR 4:支持边界框、块分类与置信度分数

    Mistral 发布 OCR 4 文档解析模型,在提取文本之外返回边界框、类型化块分类和逐词置信度分数,支持 170 种语言、10 个语言组,可通过单个容器完全自托管。

    推荐理由:原文来自 Mistral 官方,给出 OCR 4 的结构化输出、多语言支持和自托管选项,还披露了基准评分局限,可作选型参考。

6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型,支持 70+ 语言近实时语音转语音翻译

    Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言自动检测的近实时语音转语音翻译,连续生成保留说话者语调、节奏和音高的译文,全程仅落后说话者几秒。

    推荐理由:官方公告给出了模型能力、开放入口和各产品落地细节,读者可以据此判断它对实时语音翻译工作流的改变。

5月18日周一
5月17日周日
5月16日周六
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 3.5,率先推出 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型系列,首先推出 3.5 Flash,定位智能体与编码,在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)和 CharXiv Reasoning(84.2%)上超过 Gemini 3.1 Pro,输出速度为其他前沿模型的 4 倍。

    推荐理由:官方公布了 3.5 Flash 的基准成绩、开放渠道和 Pro 后续计划,读者可以据此评估它在智能体与编码场景的取舍。