跳到正文
Hugging Face Blog·· 18 小时前精选AI 评分81

Mistral 发布 Mistral Large 4（Le Chonk）：1T 总参数 MoE 多模态开源权重模型

Welcome Le Chonk: Mistral Large 4 on Hugging Face

AI 导读

Mistral 在 Hugging Face 发布 Mistral Large 4（Le Chonk），总参数约 1T、激活 49B、上下文窗口 1M tokens，支持文本和图像输入，采用 Mistral Ecosystem Open-Weight License。

推荐理由

官方博客给出模型架构、基准成绩和各推理栈部署方法，读者可据此评估其在安全与编码智能体场景的可用性。

正文 · AI 翻译

Mistral Large 4(又名 Le Chonk)是 Mistral 推出的多模态、多语言混合专家(MoE)模型。它以文本和图像作为输入并生成文本。它总参数量约为 1T,激活参数 49B,上下文窗口为 1M tokens。

该模型发布了两个官方版本:

  1. FP8
  2. NVFP4

此外还有由 Unsloth 和 llama.cpp 团队创建的 GGUF 版本。模型以 Mistral Ecosystem Open-Weight License(一种 MIT 衍生许可证,对模型即服务产品设定了限制)发布。

Mistral Large 4 在网络安全、编程智能体和多模态方面尤为出色。在本文中,我们将探讨该模型的工作原理、能力、架构等!

目录

Mistral Large 4 有什么新特性

Mistral Large 4 结合了大量专家池、稀疏注意力机制和 Pixtral 视觉编码器。语言模型为每个 token 选择一小组专家,而其注意力索引器则选择要关注的先前 token 位置。这是两种不同形式的稀疏化:一种选择前馈网络,另一种选择上下文位置。

你可以在 Mistral Large 4 集合 中找到所有检查点。

网络安全能力

在 Artificial Analysis Cyber Index 测试中,Mistral Large 4 获得了 82% 的得分,该测试要求模型在开源软件中复现一个真实漏洞并修补该软件。Mistral 报告称,多个闭源前沿模型在同一测试中得分接近于零,因为它们拒绝尝试这项工作。这对防御者来说极为重要,因为修复漏洞通常需要先复现漏洞。在 Mistral 的内部测试中,Mistral Large 4 在恶意软件分析、漏洞优先级排序和编写检测规则方面也很有用,尽管模型并未针对这些任务进行过显式训练。

Mistral 主要将该模型定位于防御性安全工作。漏洞研究和事件响应在模型输入中常常看起来像攻击,因此闭源过滤器可能会阻止它们。依赖 API 的团队也可能在事件处理中途失去访问权限。至关重要的是,开放权重模型让用户能够同时掌控使用策略和部署。尽管如此,该模型仍会拒绝有害请求:在来自 JailbreakBench、StrongREJECT 和 AgentHarm 的网络提示上,其平均拒绝率高于任何其他开放权重模型。

对于社区建设者来说，像 Mistral Large 4 这样的开放权重模型解锁了大量下游用例。你可以围绕自己的代码库、崩溃日志和恶意软件样本构建自己的网络（cyber）系统。例如，借助 TRL 你可以微调 较小的模型，用 Mistral Large 4 修复代码库的轨迹作为数据。实际上，“复现再修复”任务使用可验证的奖励，因此适用于可用于进一步强化学习（RL）较小安全模型的 RL 环境。开放权重还让研究人员能够直接测量模型的拒答行为，而不必依赖提供商的描述。

简而言之，ML4 这样的网络能力以开放形式发布，对社区来说是巨大的助力。

我们就该模型的网络能力采访了 Pierre Stock，你可以在这里观看。

架构

ML4

Mistral Large 4 的文本解码器有 72 层，隐藏维度为 6,144，注意力头为 64 个。其注意力模块将多头潜在注意力（MLA）与 DeepSeek 稀疏注意力（DSA）索引器相结合（GLM 5.3 等其他模型也有类似方向）。MLA 保留压缩的 KV 表示，DSA 为每个查询选择最多 2,048 个关键位置。

Attention
每个解码器块采用 3:1 的 RoPE 与 NoPE 交替模式，即 3 个解码器层使用 RoPE，每第四层使用 NoPE。该模型还在各层之间共享 KV 状态。
第一个解码器层使用稠密前馈网络。其余 71 层使用 MoE 模块，其中一个 softmax 路由器为每个 token 从 128 个专家中选出 4 个。一个共享专家始终与被选中的专家一起运行，因此每个 token 总共有 5 个激活的专家。

关于 RoPE，Mistral 使用了 LeRope，这是一种经 YaRN 缩放的 RoPE，每个频率有一个可学习的乘数。

Experts

视觉编码器

Mistral Large 4 采用了一个 1.6B 参数的 Pixtral 编码器。Pixtral 有 30 层，隐藏维度为 2,048，注意力头为 16 个。它使用 14 × 14 的图像块（patch）和空间合并大小为 2 的 patch 合并投影器。你可以在下方看到编码器流水线。

Image Encoder

基准测试结果

Mistral Large 4 在编程、网络安全、多模态理解和智能体工作流等方面都有出色的基准测试表现，使其成为开放权重生态系统中颇具竞争力的新成员。截至 2026 年 10 月 29 日，该模型在 Artificial Analysis Intelligence 指数上位列开放权重模型第五名。

在编程方面，ML4 在 DeepSWE v1.1 上取得 61.7%，在 SWE-Atlas-QnA 上取得 59.4%，在 Terminal-Bench 4 上取得 28.3%。其综合 Coding Agent 指数得分为 49.8%，领先于 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。

ML4 的编程能力还延伸到知识工作领域，在评估业务工作流和长周期专业任务的 AutomationBench 上取得 59.9%，在 AA-Briefcase 上取得 1,393 Elo。

网络安全是 Mistral Large 4 的突出能力之一，在真实世界漏洞评估和安全竞赛任务中都有出色表现。以下三个基准测试凸显了该模型的网络性能：

  • Artificial Analysis Cyber 指数：在这项独立评估模型发现和修复软件漏洞能力的测试中，ML4 位列全球前五名模型。
  • 漏洞复现与修补:在该项测试中达到 82%,是本索引中已报告的最高分数。该任务要求复现开源软件中的一个真实漏洞并进行修补,同时考察调查与修复能力。
  • Cybench:ML4 解决了从安全竞赛中选取的 40 个挑战组成的题集中 93% 的题目,展现了在动手型安全问题上的强大表现。

Mistral Large 4 还在 Lakera 的 B3 基准上展现出 93.3% 的攻击抵御率,进一步证明其对提示注入攻击的鲁棒性。除了基准测试,内部测试还在恶意软件分析、漏洞优先级排序和检测规则生成方面取得了令人鼓舞的结果。

推理支持

Mistral Large 4 发布即支持 transformers、vLLM 和 llama.cpp。GGUF 量化版本可从 GGUF 和 llama.cpp 团队获取。我们提供使用 Inference Endpoints 远程部署的选项,并可通过 Inference Providers 使用无服务器推理。

Transformers

Transformers 实现提供了 AutoModelForMultimodalLM,其中 AutoProcessor 负责准备对话和图像输入。Mistral Large 4 可以接受 low、medium、high 作为推理力度。默认值为 high,请注意推理无法被禁用,因此使用 reasoning_effort: none 仍会采用 high。

要运行该模型,请升级 transformers 包

pip install --upgrade transformers

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)

# only text
text_messages = [
    {
        "role": "user",
        "content": "Who are you?"
    }
]

# text + image
multimodal_messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
            },
            {
                "type": "text",
                "text": "How many cats are in the image?",
            },
        ],
    },
]

for messages in [text_messages, multimodal_messages]:
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
        reasoning_effort="medium",
    ).to(model.device).to(model.dtype)
    input_len = inputs["input_ids"].shape[-1]

    outputs = model.generate(**inputs, max_new_tokens=100)
    if int(os.environ["RANK"]) == 0:
        print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

你可以把上面的脚本保存为一个 python 文件 script.py,然后运行

torchrun --nproc-per-node 8 script.py

vLLM

vLLM 支持高质量的 NVFP4 Mistral Large 4 检查点,其内存占用更小,但需要 NVIDIA Blackwell GPU。该模型还附带一个 DSpark drafter,可在 vLLM 上获得额外加速。按如下方式启动服务器:

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --config-format mistral \
  --load-format mistral \
  --tensor-parallel-size 8 \
  --decode-context-parallel-size 8 \
  --enable-expert-parallel \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enforce-eager \
  --mm_processor_cache_gb 0.0

服务器启动并运行后,你可以执行以下命令。

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'

Llama.cpp

Llama.cpp 和 Llama App 已支持 Mistral Large 4。

你可以用以下命令安装 Llama App:

curl -LsSf https://llama.app/install.sh | sh

然后可以按如下方式启动服务器,在模型 ID 后面标明量化后缀:

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

这里是由 FP8 检查点导出的量化版本的仓库,这是 NVFP4 版本,由官方 NVFP4 仓库转换而来。

服务器启动后,你可以访问 localhost:9931,使用内置 WebUI 进行对话。在 Web UI 中你可以添加图像进行推理,并调整推理力度。
你也可以按如下方式查询服务器。欢迎查阅 API 参考了解多模态、工具调用等更多内容。

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

你可以按如下方式运行图文推理。

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
        "model": "muse-spark-open",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "What is in this image?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "data:image/png;base64,..."
                        }
                    }
                ]
            }
        ],
        "temperature": 0
    }'

llama.cpp 团队发布了以下量化版本: IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0,以及用于进一步转换的 BF16。2-bit 量化版本可以在一台配备 512 GB 统一内存的 Apple Silicon Ultra 电脑上运行。其他版本需要分布式推理。你也可以在多张 NVIDIA 或 AMD 显卡上运行。

在一台单独的 M3 Ultra 上运行 Q2_K,我们获得了约每秒 90 个 token 的预填充吞吐量,生成速度为 15 tok/s。在 4 x RTX6000 Pro 上,我们观察到以下结果:

  • NVFP4: 32K 上下文长度,预填充 130-590 t/s,生成速度 ~10 t/s
  • IQ2_XXS: 800K 上下文长度。在短上下文时,预填充为 500 tok/s,生成速度为 30 tok/s。但在使用长上下文时,性能降至 129 tok/s(预填充)和 3 tok/s(生成)。

使用 TRL 进行微调

我们还通过 TRL 为 Mistral Large 4 提供了首日微调支持。你只需升级到最新版本的 transformers、trl 和 peft 即可。

pip install --upgrade transformers trl peft

在下面的示例中，我们训练模型执行多语言思考。微调后的模型能够以系统提示词要求的语言进行推理！

该脚本在由 8 张 B300 组成的节点上运行 FP8 版本。

# torchrun --nproc-per-node 8 sft.py
import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
# the assistant turns carry reasoning, so render them in reasoning mode
dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

推理端点

Mistral Large 4 也已在 Inference Endpoints 上提供，并附带了基于 8 张 NVIDIA H200 GPU 的即用型部署方案。该方案使用 vLLM 运行，FP8 权重通过张量并行和专家并行分布到全部八张 GPU 上，并利用模型内置的 DSpark 草稿头通过投机解码实现更快的生成。它可支持最多 131K token 的上下文，同时处理多达 16 个请求，我们观察到以下结果：

  • 单请求：对于 1K token 的提示词，首 token 延迟约 0.6 秒，生成速度约 65 tok/s；在 DSpark 草稿被接受的聊天提示词上可达 120–138 tok/s。
  • 长提示词：一次处理 4 个 16K token 的提示词时，预填充总速度约 4,300 tok/s，首 token 延迟为 8–9 秒。
  • 高负载下：在 1,000 段 ShareGPT 对话中，总生成速度约 480 tok/s。

你可以使用 hf CLI 按如下方式部署：

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

端点运行起来后，你可以使用端点 URL 和你的 Hugging Face token 查询其兼容 OpenAI 的 API。reasoning_effort 字段控制模型在回答前进行推理的程度，可设置为 low、medium 或 high（默认）。

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Large-4-1T-A52B",
        "messages": [
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ],
        "reasoning_effort": "medium"
    }'

回答包含在 choices[0].message.content 中，推理内容包含在 choices[0].message.reasoning 中。该端点还通过标准的 Chat Completions 字段支持工具调用、结构化输出、图像输入和流式输出。

Dell 企业中心

让你的 Dell AI 服务器（NVIDIA H200、B200、GB200 或 GB300）快速上手运行的最简单方式是安装 dell-ai CLI：

pip install dell-ai && dell-ai login

然后用它在例如 NVIDIA B300 节点上运行针对 Mistral Large 4 的优化方案。

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

你可以在 Dell 企业中心（DEH） 了解更多关于本次发布的信息。

立即试用

从 Mistral Large 4 合集 获取权重，使用 GGUFs 在本地运行，或通过 Inference Endpoints 部署。我们迫不及待想看到你用 Le Chonk 构建的作品。欢迎在 Hub 上分享你的微调模型、量化版本和其他成果！

来源： Hugging Face Blog · huggingface.co

#模型发布#开源生态#多模态#MCP/工具调用