跳到正文

#多模态

今日 6 条
今天10月7日周三
  1. Hugging Face Blog43

    Falcon-Emirati-7B:让 LLM 学会阿联酋方言、文化与细微语义

    Hugging Face 联合发布方推出 Falcon-Emirati-7B,基于 Falcon-H1-Arabic 7B 变体微调,专门理解与生成阿联酋阿拉伯语方言。模型采用 Mamba 与 Transformer 注意力并行的混合架构,结合阿联酋方言网页数据、阿联酋文化的 MSA 数据和受词典与风格规则约束的合成数据进行训练,上下文窗口最高支持 128K/256K tokens。

10月2日周五
  1. The Decoder55

    Tavus 发布 Griffin 人机交互模型,近半测试者在 1 分钟视频通话中误以为是真人

    Tavus 推出其称为首个 Human Interaction Model 的 Griffin,可实时处理语音、表情、语调、手势和停顿并双向生成视频。公司研究中 48% 的参与者在一分钟视频通话后认为 Griffin 是真人,此前系统最高为 2%;Tavus 所述的 Nvidia 独立测试中 Griffin 得 3.83 分,接近真人的 3.92 分。

10月1日周四
  1. TechCrunch · AI59

    Google 发布 Gemini 4 Argon,称其为迄今最强大的模型

    Google 发布新模型 Gemini 4 Argon,称其擅长网络安全、编码与研究,可自主发现、验证并修复关键软件漏洞。该模型经防御性网络安全任务专项训练,目前仅通过 Fairwind 安全计划向部分网络安全合作伙伴开放;Google 引用 Vals 的模型指数称其在多项基准上领先 OpenAI GPT-6 Astra 与 Anthropic 的 Fable 和 Opus。

9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,加速视觉语言推理

    Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取更快推理,解码在设备端最高加速 3.13x、H100 上最高 2.66x,端到端分别为最高 2.62x 和 2.27x。

    推荐理由:原文给出视觉语言模型的投机解码加速方案、具体倍数与内存开销,并覆盖 llama.cpp、MLX-VLM、SGLang 的接入方法。

9月16日周三
9月3日周四
9月1日周二
8月21日周五
8月12日周三
  1. Google DeepMind74

    Google DeepMind 发布手语转文本模型 SL2T,登陆 Gboard 和 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本(SL2T)翻译模型,为聋人和听障用户带来新的手语输入功能,率先在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文,后续将扩展更多设备和语言。

    推荐理由:原文给出模型训练规模、基准分数和隐私设计等具体细节,读者可以了解手语翻译落地的真实技术路线。

8月10日周一
  1. Hugging Face Blog78

    Meta 发布开源多模态模型 Muse Glimmer-30B,主打本地智能体场景

    Meta 今日发布 30B 参数多模态开源模型 Muse Glimmer,从 Muse 蒸馏而来,采用 Apache 2.0 许可,面向本地部署的隐私场景与编码、文档分析、个人助理等智能体用途。

    推荐理由:原文给出架构细节、Agent 基准对比和各推理栈的 day-0 用法,读者可据此评估本地多模态部署的选择。

7月15日周三
  1. Hugging Face Blog80

    Thinking Machines 发布万亿参数开源多模态模型 Inkling 及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布开源多模态模型 Inkling,总参数约 1T(975B,激活 41B 的 MoE),原生接收图像、文本和音频输入,支持 1M 上下文,训练数据为 45 万亿 token,包含 BF16 和 NVFP4 权重。

    推荐理由:官方博客给出架构细节、各档位 VRAM 需求和部署配置,读者可以据此评估多模态部署成本与选型。

7月1日周三
6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型,支持 70+ 语言近实时语音转语音翻译

    Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言自动检测的近实时语音转语音翻译,连续生成保留说话者语调、节奏和音高的译文,全程仅落后说话者几秒。

    推荐理由:官方公告给出了模型能力、开放入口和各产品落地细节,读者可以据此判断它对实时语音翻译工作流的改变。

5月18日周一
5月16日周六
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 3.5,率先推出 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型系列,首先推出 3.5 Flash,定位智能体与编码,在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)和 CharXiv Reasoning(84.2%)上超过 Gemini 3.1 Pro,输出速度为其他前沿模型的 4 倍。

    推荐理由:官方公布了 3.5 Flash 的基准成绩、开放渠道和 Pro 后续计划,读者可以据此评估它在智能体与编码场景的取舍。

4月13日周一
3月17日周二
12月3日周三
  1. Mistral AI78

    Mistral 发布 Mistral 3 系列模型,含 Mistral Large 3 与 Ministral 3,均采用 Apache 2.0 开源

    Mistral 发布新一代模型系列 Mistral 3,包括 MoE 架构的 Mistral Large 3(41B 激活、675B 总参数)以及 3B、8B、14B 三个尺寸的 Ministral 3 模型,全部以 Apache 2.0 协议开源。

    推荐理由:官方公告完整列出了模型规格、开源协议、部署方式与可用平台,读者可据此评估在自有环境落地的可行性。

7月15日周二
  1. Mistral AI70

    Mistral 发布开源语音理解模型 Voxtral,提供 24B 与 3B 两个版本

    Mistral 发布开源语音理解模型 Voxtral,含 24B 的 Voxtral Small 和 3B 的 Voxtral Mini,均采用 Apache 2.0 许可证并可通过其 API 调用,价格低至每分钟 $0.001。

    推荐理由:官方公布了两个尺寸的开源语音理解模型、基准成绩和 API 价格,读者可据此评估其替代现有 ASR 方案的可行性。

5月7日周三
  1. Mistral AI64

    Mistral AI 发布 Mistral Medium 3,以约八分之一成本逼近 Claude Sonnet 3.7

    Mistral AI 发布 Mistral Medium 3,定位 SOTA 性能、成本降低 8 倍的新级别模型。基准上达到或超过 Claude Sonnet 3.7 的 90%,定价为 $0.4 输入 / $2 输出每 M token,超越 Llama 4 Maverick 和 Cohere Command A,可在 4 张 GPU 以上环境自部署。

    推荐理由:官方给出与 Claude Sonnet 3.7 的基准对比、定价和部署门槛,读者可据此评估企业落地的性价比。

3月17日周一