Liquid AI 发布 LFM3 系列模型，一个 backbone 覆盖文本、视觉、音频与决策

LFM3 是我们新一代的 Liquid Foundation Models(LFMs),旨在成为专用智能的起点。它将文本、视觉、音频、全模态和决策模型整合到一个共享主干上,全部处于 2B 参数量级。这意味着你可以为你的模态选择合适的模型,在单个 GPU 上用自己的数据进行微调,并部署到应用运行的地方。

与我们之前的 LFM2 系列相比,LFM3 带来了四项主要变化:

• 每参数能力更强:全新的三重混合架构和训练配方使 LFM3-1.7B 在参数量减少 35% 的情况下超越 LFM2.5-2.6B。
• 所有模态共享一个主干:六个 2B 级模型(文本、视觉、音频、全模态和决策)均从 LFM3-1.7B-Base 训练而来,包括我们的首个全模态模型以及视觉模型对视频输入的支持。
• 为边缘端而生:文本模型在 4-bit 精度下仅占约 1 GB,全新的自研视觉和音频编码器加快了处理速度,文本模型的 256K 上下文窗口让智能体可以在设备上运行。
• 专为定制化打造:每个模型都可在单个 GPU 上微调,因此你可以将其适配到自己的数据、术语和部署环境中。

我们如何构建更具表达能力的主干

LFM2 证明了短卷积与注意力机制的混合架构可以在设备上快速运行而不牺牲质量。对于 LFM3,我们利用硬件在环架构搜索重新设计了该架构,以应对智能体用例的需求——这类场景需要更高的每参数能力和长上下文下的快速推理。搜索现在覆盖 14 种设备与后端组合,从手机和 Raspberry Pi 5 到笔记本、云端 CPU、GPU 以及 Qualcomm Hexagon NPU。

LFM3-1.7B-Base 拥有 24 层,并包含四项主要变化:

1. 三重混合层配置:13 层门控短卷积、5 层滑动窗口注意力(SWA)层(窗口为 256 token)以及 6 层全局注意力层。卷积的 kernel 大小从 LFM2 的 3 提升到 7。
2. 按头门控注意力:一个 sigmoid 门对每个注意力头的输出进行缩放,因此当某个头没有额外贡献时可以将其关闭。这有助于抑制损害量化效果的激活离群值。
3. 部分 RoPE:全局注意力层仅对每个头的最高频率一半进行旋转编码,因此另一半只按内容匹配,与距离无关。SWA 层保留完整的 RoPE。
4. 三明治归一化:每个模块对其输入和输出都进行归一化,以保持激活值的良好数值范围。

收益在长上下文中显现。按每参数计算,LFM3-1.7B 在边缘设备上的短提示表现与 LFM2-1.2B 相当,而在 8K token 上下文时速度快约 25%。LFM3-1.7B-Base 在 22T token 上预训练,使用与 LFM2.5-8B-A1B 相同的 128K 词表。最后的 3.5T token 是一个基于精选数据的 mid-training 阶段,其中包含更大比例的智能体轨迹和工具调用,同时也将上下文窗口扩展到 256K token。

一个主干支撑六个模型

每个 LFM3 模型都从 LFM3-1.7B-Base 分支而来。你无需运行一个大型通用模型,而是选择适合自己输入的模型,进行定制,并在设备上运行。

视觉和音频模型还配备了两个全新的自研编码器：

• 视觉编码器：它结合了卷积和注意力机制，算力消耗仅为以往 LFM VL 模型中 SigLIP2 编码器的 1/3。我们这个 164M 参数的编码器在准确率上与 Qwen3.5-2B 的视觉编码器相当，而所需 FLOPs 少 2.2 倍（两者均在同一个 LFM2.5-230M 语言主干上测得）。对于视频，它将每对采样帧嵌入到一个时间片段中，使时间序列长度减半。
• 音频编码器与 LiquidCodec：音频编码器混合了滑动窗口注意力与短卷积，并且是完全因果的，因此模型可以在你说话的同时进行预填充，首个 token 生成时间低至 50 ms。LiquidCodec 是我们新的音频分词器，在 Apple M4 Max 的单个 CPU 线程上能以约 87 倍实时速度将生成的 token 转换为语音，并支持流式解码。

如何使用 LFM3 模型

每个模型都可在 transformers 中运行。下面的代码片段来自模型卡，其中还列出了每个模型支持的其他推理引擎。

LFM3-1.7B

当你需要本地智能体、工具调用、结构化输出，或作为领域专用微调的基础时，请选择 LFM3-1.7B。它经过后训练，可在 Hermes Agent、Pi 和 OpenClaw 等智能体框架中运行。它以少 35% 的参数超越了前代 LFM2.5-2.6B，且提升最大的是智能体任务：在 WebArena-Verified 上，它得分为 38.42，对比前代的 3.02，甚至在浏览器和商业应用的长任务上击败了 Qwen3.5-9B。更多详情请见 LFM3-1.7B 模型卡。

要运行 LFM3-1.7B，请安装最新版本的 transformers：

pip install -U transformers

然后加载并运行模型：

from transformers import pipeline

generator = pipeline(
    "text-generation",
    model="LiquidAI/LFM3-1.7B",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(
    messages,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.1,
    max_new_tokens=2048,
)
print(output[0]["generated_text"][-1]["content"])

关于本地智能体的搭建，请参阅 Agent Harnesses 指南。

LFM3-VL-2B

当你需要端侧视觉理解时，请选择 LFM3-VL-2B。它是首个接受视频输入的 LFM 视觉模型；它会在回答前逐步推理，并且能够发现物体并推理它们的空间位置关系，是机器人技术的良好基础。与 LFM2.5-VL-3B 相比，它的参数更少（1.9B 对 3.1B），却将 62 项视觉基准的平均分从 57.6 提升到 71.4，与 Gemma 4 12B 相当，而后者是它的六倍多。更多详情请见 LFM3-VL-2B 模型卡。

要运行 LFM3-VL-2B，请安装带视觉依赖的 transformers>=5.21.0：

pip install "transformers>=5.21.0" torch torchvision pillow

然后加载并运行模型：

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "LiquidAI/LFM3-VL-2B"

model = AutoModelForImageTextToText.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://placecats.com/300/200"},
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    output_ids = model.generate(
        **inputs,
        do_sample=True,
        temperature=0.1,
        top_k=50,
        repetition_penalty=1.1,
        max_new_tokens=16384,  # generate() needs an explicit limit; reasoning can be long
    )

generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(processor.batch_decode(generated_ids, skip_special_tokens=True)[0])

工具调用、工具搜索以及使用 llama.cpp 的端侧推理，请参阅 LFM3-VL-2B 模型卡。

LFM3-Audio-2B

当你需要在笔记本电脑或边缘设备上进行语音聊天、语音识别、语音合成或跨 18 种语言的翻译时，请选择 LFM3-Audio-2B。它以文本或音频作为输入，并以文本、语音或两者兼有的方式回应，还能将口头请求转化为工具调用。与 LFM2.5-Audio-1.5B 相比，它采用了全新的自研音频编码器和语音编解码器，语音质量更高（UTMOSv2 得分 3.83 对 3.22），并新增了音频理解、通用音频推理和工具调用能力。更多详情请见 LFM3-Audio-2B 模型卡。

要运行 LFM3-Audio-2B，请安装带有音频依赖项的 transformers>=5.20.2：

pip install "transformers>=5.20.2" torch accelerate librosa soundfile

直接从 Hugging Face Hub 加载模型和处理器：

import torch
import soundfile as sf

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "LiquidAI/LFM3-Audio-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to(device=device).eval()

然后大声提出问题，即可获得文字和语音形式的回答：

conversation = [
    {"role": "system", "content": "Respond with interleaved text and audio."},
    {"role": "user", "content": [{"type": "audio", "audio": "question.wav"}]},
    {"role": "assistant", "content": "<|mixed_start|>"},
]
inputs = processor.apply_chat_template(
    conversation,
    continue_final_message=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=1024,
        audio_temperature=1.0,
        audio_top_k=128,
        audio_repetition_penalty=1.1,
        audio_repetition_window=4096,
        return_dict_in_generate=True,
    )

    text = processor.decode(
        outputs.sequences[0, inputs["input_ids"].shape[1]:],
        skip_special_tokens=True,
    )
    waveform = codec.decode(
        outputs.audio_codes[:1, :, :outputs.audio_lengths[0]]
    ).audio_values[0]  # 24 kHz
print(text)
sf.write("reply.wav", waveform.float().cpu().numpy(), 24_000)

语音识别、语音合成、音频理解和工具调用的实时演示，请参阅 LFM3-Audio-2B 模型卡。

LFM3-Omni-2B

当你需要一个能在设备端看、听、说的单一模型，来取代独立的 ASR 模型、视觉语言模型、LLM 和 TTS 模型时，就可以选择 LFM3-Omni-2B。它可以口头回答关于图片的问题，同时观看并聆听视频，还能把看到和听到的内容转化为工具调用。这是我们的首个全模态（omni）模型，支持文本、视觉和音频输入，以及文本和语音两种输出，并保留了独立 LFM3 模型的核心能力，包括视觉问答、语音识别、语音合成和指令遵循。与 LFM3-Audio-2B 一样，它通过 LiquidCodec 发声，能以超实时的速度把生成的 token 转换为语音，因此语音回答可以在模型生成的同时流式输出。在视听视频理解方面，它在 Daily-Omni、WorldSense 和 AV-SpeakerBench 上击败了参数量最高达 10.7B 的模型，例如 Qwen2.5-Omni-7B。更多细节请参阅 LFM3-Omni-2B 模型卡。

要运行 LFM3-Omni-2B，请安装带有视觉和音频依赖项的 transformers>=5.20.2：

pip install "transformers>=5.20.2" torch torchvision torchcodec accelerate pillow librosa soundfile

import torch
import soundfile as sf

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "LiquidAI/LFM3-Omni-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to(device=device).eval()

然后用语音对一张照片提出问题：

conversation = [
    {
        "role": "system",
        "content": "Answer questions about the provided image. Base every answer only on what can be seen. Respond with text.",
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "photo.jpg"},
            {"type": "audio", "audio": "question.wav"},
        ],
    },
]
inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=1024, generation_mode="text")

print(processor.decode(
    outputs.sequences[0, inputs["input_ids"].shape[1]:outputs.sequence_lengths[0]],
    skip_special_tokens=True,
))

语音输出、带音轨的视频以及工具调用，请参阅 LFM3-Omni-2B 模型卡。

d1-2B 和 d1-omni-2B

当你需要快速、结构化的决策而非生成的文本时，就可以选择 d1 模型。给它们一个情境（一张支持工单、一份发票、一个应用界面、一张照片或一条语音留言）和一组问题，它们会在单次前向传播中回答所有问题，每个答案都带有校准后的概率。除了是非题、选择题和打分之外，它们现在还能指向物体、读取文档中的数值、以区间形式估算数字，并选出所有适用的选项。更多细节请参阅 d1-2B 和 d1-omni-2B 的模型卡。

两个 d1 模型之间的区别：

• d1-2B：适用于文本、图片和视频。它取代了 d1-3B，参数量减少三分之一，并且在我们的全部四个决策评测集上得分更高，例如在 ImajevBench 上为 75.5 对 64.0。
• d1-omni-2B：当输入包含音频时选择它。如果你用语音而非文字提问，它几乎能保持全部准确率。

要运行 d1-2B，请安装带有视觉依赖项的 transformers>=5.19：

pip install "transformers>=5.19" torch torchvision pillow

然后加载 d1-2B，在单次处理中向它询问关于同一张支持工单的多个问题：

import torch
from transformers import AutoModel

device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
dtype = torch.float32 if device == "cpu" else torch.bfloat16
model = AutoModel.from_pretrained("LiquidAI/d1-2B", trust_remote_code=True, dtype=dtype).to(device)

# Several named questions over one state, answered in one pass
questions = {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},  # yes/no: P(yes)
    "team": {"type": "choice", "instructions": "Which team should handle this?",
             "criteria": {"billing": "Charges, refunds, invoices", "shipping": "Delivery and parcels",
                          "technical": "App or site faults"}},
    "topics": {"type": "choice", "multiple": True, "instructions": "Which topics does the message raise?",
               "criteria": {"billing": "Payments and charges", "delivery": "Shipping and parcels",
                            "login": "Signing in to the account"}},
    "urgency": {"type": "score", "instructions": "How urgent is this ticket?", "criteria": ["low", "medium", "high"]},
}
out = model.system_one("I was charged twice and my parcel never arrived. Please refund one charge.", questions)
a = out["answers"]
urgency = a["urgency"]["legend"][str(int(a["urgency"]["score"]))]
print(round(a["refund"]["noul"], 2), a["team"]["choice"], a["topics"]["choices"], urgency)
# 1.0 billing ['billing', 'delivery'] medium

为节省篇幅，我们只给出 d1-2B 的示例。音频片段和语音提问的示例请参阅 d1-omni-2B 模型卡。

为你的任务微调 LFM3

LFM3 的设计目标就是可以被专门化。前沿模型是强大的通才，但未必是你具体用例中的专家。LFM3 在一个小而快的模型中塞入了额外容量，因此只需一次简短的微调，就能借助你的数据、术语和工具，把它变成在你任务上可靠的专家。由于它体积小，你可以把微调后的模型部署在应用运行的地方，从设备到私有基础设施再到云端。

每个模型都可以在单张 GPU 上完成微调，这些 notebook 将带你完整走一遍文本、视觉、音频和全模态模型的任务流程，从数据准备到评估。

示例：教 LFM3 执行任务

我们将 LFM3-VL-2B 适配为三个互补的机器人模型，分别用于编排、导航和操作。编排器通过工具调用操控机械臂：它通过指向来定位物体，用深度工具测量物体，调用运动规划器，并在随后的相机图像中检查结果。导航器根据最近的 RGB 观测结果遵循路线描述，仅用五个 token 即可预测空间目标和航点轨迹。操作 VLA 在单次前向传播中将图像、语言和机器人状态映射为八步的连续动作块。该 VLA 在 15 种机器人本体上联合训练，在 LIBERO 四个套件中取得 96.2% 的平均成功率，在 RoboCasa-GR1 桌面任务上取得 45.7% 的成功率，并在 Jetson AGX Orin 上使用 TensorRT FP16 在 50 毫秒内生成动作块。这些结果凸显了 LFM3-VL-2B 作为机器人紧凑型基础的潜力，覆盖从高层规划到低层控制，并可在嵌入式硬件上实时生成动作。

观看 LFM3-VL-2B 在这段演示视频中处理感知、导航和操作。

开始使用 LFM3

所有 LFM3 模型均为开放权重，现已在 Hugging Face 上提供：

• 下载：Hugging Face 上的 LFM3 合集，包括可供你自行进行后训练的 LFM3-1.7B-Base。
• 微调：使用我们的微调笔记本将 LFM3 适配到你的任务。
• 在你的框架中使用：按照我们的指南了解如何运行本地智能体，如 OpenClaw、Hermes Agent 和 Pi。

我们迫不及待想看到你的构建成果。

引用

如果你使用了本工作，请引用发布博客：

@article{liquidAI2026LFM3,
  author = {Liquid AI},
  title = {Introducing LFM3: Every Modality for Specialized Intelligence},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/lfm3},
}