IBM 发布 Granite Switch 4.1 模型，单端点同时支持对话、决策与语音转写

去年春天发布的 Granite Switch 项目为模型开发提供了一种模块化方法。如今，Granite Switch 4.1 模型配备了 Decision 适配器以及 OpenASR 排行榜上最快的 ASR 模型，可以在自然语言回复、通用与专业决策以及语音转文本任务之间高效切换——全部通过同一个托管端点完成。

具体来说，Granite-Switch-4.1-8B 和 -30B 模型的配置包括：

一个全新的通用决策 Decision aLoRA（例如 v1/systemone），
一个专门的Guardian aLoRA，在安全相关决策任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash，以及
Granite-Speech-5.0-Turbo-CTC，OpenASR 排行榜上最快的 ASR 模型，已嵌入其中用于转录任务。

这三项技术（连同底层基础模型）被组合成一个模型，其在 GPU 上占用的 VRAM 与基础模型单独占用的大致相同。这意味着用更少的 GPU 获得更多能力。

而且，由于 Switch 适配器是作为缓存高效的 Activated LoRA（激活式 LoRA）构建的，基础模型生成时创建的 KV 缓存可以被任何后续基于适配器的决策复用。结合我们团队近期为加速低秩适配器推理而做出的 vLLM 贡献，以及同址部署的 ASR 编码器，Granite Switch 4.1 模型可以在聊天请求、决策请求和语音请求之间以极快的速度进行切换。

granite-switch-4.1-8b 可以转录音频、生成摘要、筛查有害内容并测试 15 个以上的通用标志——全部在单个端点上实时运行。

Granite Libraries：元老级决策模型

决策模型并不新鲜。我们此前发布的 Granite Libraries 提供了一个包含专门“决策模型”适配器和其他专门任务适配器的资源库，可将它们组合成自定义的 Granite Switch 模型。虽然 Jev 和其他闭源决策模型侧重于通用性，但我们发现，许多专门的 granitelib 适配器在专门分类任务上的表现可以超越通用模型。

在专门分类任务上评估时，将 granitelib 适配器与通用决策模型进行比较。

由于适配器共享基础模型的 KV 缓存，在通用决策适配器之外添加专门适配器几乎没有成本。你既能从通用模型获得广泛覆盖，又能在自己关心的任务上从专门模型获得更高准确率。

在 Granite-Switch-4.1-30B（冻结的 Granite 基础模型 + 4 个专门 aLoRA）与 Jev-27B（冻结的 Qwen 基础模型 + 1 个通用决策 LoRA）的“竞赛”中，Granite-Switch-4.1-30B 完成真实世界 5 步 RAG 工作流的速度远超对手。

组合并扩展你自己的 Granite Switch 模型

Granite-Switch-4.1-8B 和 -30B 以“开箱即用”的方式发布。它们是我们用一组预定义的实用适配器编译而成的 Granite Switch 模型。但你不必使用我们的版本。任何人都可以组合自己的 Granite Switch 模型，从 Granite Libraries 中混搭适配器，以最好地满足自己的需求。

展望未来，我们看到社区在组合和扩展 Granite Switch 模型方面有着巨大的机会，可以使用自定义及第三方适配器。我们计划在 Mellea 中发布用于训练适配器的 Adapter SDK，同时提供其他教程和 Granite Switch 支持。这些适配器可以是增强决策型工作流的专用分类适配器，也可以是用于专门语言任务的适配器。你甚至可以使用自定义适配器，教一个 3B 参数版本的 Granite 玩经典游戏《毁灭战士》（Doom）。

与 Jev 类似，我们自定义的 3B 参数 Granite Switch 模型能够在瞬间做出决策来游玩 Doom 游戏，但它的速度达到了 每秒 60 - 100 次决策，而 Jev 据报道是每秒 10 次决策。¹ 与 Jev 不同的是，这个 Granite Switch 模型还能在游玩的同时进行解说并回答你的问题。

我们期待在未来几周内发布关于 Granite Switch 的更多细节和数据，但在那之前，我们鼓励你试用我们最新的 Switch 模型以及这些其他有助于入门的资源。

入门资源

脚注

¹ https://typesafe.ai/blog/introducing-system-one-models-and-jev