Apertus 1.5 发布：8B 和 70B 开源模型新增多模态理解与思考模式

我们的最新版本 Apertus 1.5 在 8B 和 70B 的 Apertus 1.0 模型基础上进行了扩展，增加了图像/音频理解、可选的思考模式、四倍更长的上下文窗口、更好的指令遵循以及更强的工具使用能力。更新后的 8B 和 70B 模型权重已于 2026 年 7 月 24 日以 Apache 2.0 许可证发布到 Hugging Face。更多细节现已通过该项目的 技术报告提供，并在此处概述。

Apertus 1.5 是对第一代模型的持续预训练：为 8B 模型新增了 4 万亿文本和多模态训练 token，为 70B 模型新增了 2 万亿 token，使总量分别达到 19T 和 17T。与每一次 Apertus 发布一样，这些模型是完全开放的：开放权重、开放数据、开放价值观，以及完整的训练细节。

主要增强功能

• 原生多模态理解：Apertus 1.5 可在文本之外接受图像和音频，将文档、图表和照片带入对话之中。这些模型还能处理口语，不过这一点仍处于实验阶段。
• 思考模式：模型可以切换到思考模式，在回答之前对输入进行推理，从而提高在推理问题上的表现。
• 长上下文：上下文窗口扩展至 262,144 个 token，是 Apertus 1.0 的 4 倍。
• 改进的指令遵循：比 Apertus 1.0 更好的指令依从性，带来更可预测、更准确的回复。
• 改进的工具使用：这些模型经过训练以实现更好的工具集成，从而更有效地使用外部工具和 API。
• 开放的价值观：更强地遵循《Apertus 章程》，使模型的价值观和原则更加透明。

训练过程

完整的 Apertus 1.5 训练流程

通过分词器实现的多模态

我们在 v1.5 模型中以早期融合的方式引入多模态：图像和音频以离散 token 的形式与文本 token 进入同一个序列，而不使用单独的视觉编码器。图像使用 Emu3.5 分词器进行分词（512×512 的图像变为 1,024 个 token），音频使用 WavTokenizer（每秒 40 个 token）。我们只扩展了词表，因此架构保持不变，训练仍以纯文本速度运行。这些模型能够理解图像和音频，但只生成文本。

预训练

从 Apertus 1.0 出发，我们分四个阶段继续预训练：

1. 非配对：文本加上独立的图像和音频，让模型学习新的模态。
2. 配对：图像–描述和音频–转录配对，使其与语言对齐。
3. 冷却期：更高质量的数据，包含更多数学和代码。
4. 长上下文：窗口从 8k 逐步增长到 262k 个 token。

总体而言，超过一半的训练 token 是纯文本，这保留了 Apertus 1.0 的语言能力。文本数据借助 FineWeb2-HQ+、FinePDFs 和 Nemotron-CC 等来源进行了更新。所有新数据（包括多模态数据）都达到与之前相同的标准：公开可用、采用宽松许可证，并追溯尊重 robots.txt 的退出声明。每个来源都列在 apertus-data-transparency 中。

后训练

后训练分五个阶段进行：SFT → 长上下文 SFT → RL → DPO → 宪章对齐（SDPO）。

1. SFT 使用 370 万条文本样本以及图像和语音数据。推理轨迹只添加到模型在没有它们时已无法解决的提示中。工具使用数据仅限于经过执行验证的轨迹。我们在 Hugging Face 上发布了我们使用的文本 SFT 混合数据。
2. 长上下文 SFT 在完整的 262k 窗口下进行，恢复了短上下文 SFT 所削弱的长上下文能力。
3. 可验证奖励强化学习（RLVR）在约 35 万条数学、代码、指令遵循、多语言和视觉提示上进行，混合开启和关闭思考模式。
4. DPO 使用由评判模型打分的偏好对，提升了聊天质量、工具使用和安全性。我们发布了偏好池和训练对。
5. SDPO 通过评判反馈和自蒸馏，将模型与 Apertus 宪章对齐。

评测结果

在扩展模型能力的同时，我们还大幅扩展了评测的范围。除了用于 Apertus 1.0 的现有基于文本的评测外，我们还增加了多模态评测（图像和音频）以及思考模式评测。

多模态评测通过 MLLM-eval-suite 流水线完成，该流水线合并了两大多模态评测框架 lmms-eval 和 VLMEvalKit。我们还添加了一系列基于文本的基准测试，并扩展了翻译与多语言能力、安全性和工具使用方面的基准测试。这些内容可以在我们基于 lm-evaluation-harness fork 的后训练评测仓库中找到。

虽然仍落后于前沿开源权重模型，但新版本在编程和指令遵循能力方面也有显著提升，其中 Apertus 1.5 8B 在 IF 和多语言任务上超越了同等规模的开源权重模型。思考模式进一步提升了在 AIME 等以推理为主的挑战性基准上的表现。该模型的多模态性能接近 Gemma 4 12B 和其他当前的开源权重模型。Apertus 1.5 的多模态性能在开源权重模型中的空间理解方面以及开源模型中的文档/图表理解方面都具有竞争力。

我们还要感谢我们的合作者和外部评测者在 Apertus 能力高效基准测试方面的帮助。特别值得一提的是，Apertus 1.5 在瑞士法律任务上表现出色，与领先的开源权重模型不相上下（博客，代码）。此外，在 Last Translation Benchmark 上，Apertus 1.5 8B 展现出与 GPT-OSS-20B 相当、并超越 Claude Haiku 4.5 或 Google Translate 等模型的机器翻译能力（排行榜，论文）。

评测卡片：Apertus ❤️ EvalEval

Apertus 与 EvalEval 联盟合作，确保基准测试完全透明且可复现。我们以 Every Eval Ever (EEE) 格式发布 Apertus 1.5 的结果，这一共享格式不仅记录分数，还记录由谁执行了评估、模型如何被访问、生成设置以及每项指标应如何解读：这些细节在排行榜上往往缺失，却常常能解释为何看似相同的分数会有差异。

结果显示在下方的 Eval Card 中，它将运行数据与基准和模型元数据合并为一条可解读的记录，也可通过 Hugging Face Community Evals 获取。这正是 英国 AI 安全研究所用来公开发布其评估结果的同一套基础设施。由于我们的文本评估运行在 lm-evaluation-harness 的公开分支上，而 EEE 为其提供了专用转换器，任何人都可以重新运行这些评估，并在完全相同的设置下将他们的结果与我们进行对比。

结构化评估报告的意义也不限于研究领域。EvalEval 已将 Evaluation Cards 与 AI 治理要求进行了映射，包括《欧盟 AI 法案》第 55 条和 GPAI 行为准则，并发现 EEE 格式能够表示这些框架所要求的 60 项评估报告要素中的 56 项。这与我们发布 Apertus 的既有方式相契合：除了模型本身，我们还发布训练内容的公开摘要，并自愿提供一份 行为准则文件。机器可读的评估记录是自然而然的下一步：让监管者、部署者和研究人员更容易查找、解读和比较模型背后证据。

我们致力于通过 Eval Cards 和 EEE 格式推动可复现、透明的评估，并鼓励其他模型开发者以同样的方式报告他们的结果，使分数能够在不同模型和组织之间进行比较。

Apertus 1.5 可复现性

所有配方、消融实验和数据配比都记录在 技术报告中。我们希望通过公开 v1.5 的训练过程并使其易于获取，来推广开放模型开发。中间检查点托管在我们的 Apertus 1.5 Hugging Face 合集中，包括基础权重、SFT、RLVR 和 DPO，我们在 Apertus 1.5 数据集合集中还提供了精心整理的训练数据配比/自定义数据集。分享这些资源让研究人员能够研究每个阶段如何改变模型的行为。

报告涵盖了大量关于不同阶段后训练数据影响的消融实验，我们观察到在 SFT 阶段将多模态数据与文本数据混合使用有助于在所有模态上提升表现。我们还发现，多模态推理轨迹的收益能够延续到随后的纯文本强化学习阶段：从使用多模态轨迹训练的 SFT 检查点出发，RL 对数学的提升要大于从纯文本检查点出发，并且这种在推理任务上的优势贯穿整个训练过程。

模型可用性

Proton Lumo 和 Infomaniak Euria 是两款广泛使用的应用，最近已集成了 Apertus 1.5。这些部署已在社区展示等页面中列出——欲先睹为快，请参阅这篇讨论帖。

包括 Swisscom、Infomaniak、Phoeniqs 在内的一系列提供商，以及我们正式发布指南中列出的其他公司，均已宣布面向开发者提供 Apertus 1.5 的 API。该报告还详细介绍了我们如何与外部评估者合作来测试和准备这些模型。

运行模型的技术说明见 Hugging Face 上 Apertus 发布版的模型卡，以及我们的快速入门指南。

如何参与

感谢您阅读这篇博文并成为我们社区的一员！我们的 Hugging Face 数据统计 🤗 刚刚突破五百万次下载，而且仍在加速前进。在近日于苏黎世举行的 AI+X Summit 上，我们的团队公布了 Apertus 2.0 的路线图：稀疏/MoE 架构、约 6000 亿总参数、延长训练周期，并将智能体、数学和编程作为重点方向。

总而言之：我们诚邀您阅读我们的报告，下载模型，探索中间检查点，微调权重，并复现我们的评估。我们的出版物或网站 FAQ 中未涵盖的问题随时欢迎提出，我们也非常希望听到大家认为哪些主题对社区未来的深入探讨最为有用。

如果您基于 Apertus 构建或使用 Apertus，请填写展示表单，并通过我们联系页面上的选项与我们取得联系。我们期待展示更多成果，了解您正在构建的内容，并听取关于如何改进 Apertus 的建议！

引用

Project Apertus, et al. “Apertus 1.5: From Open Text Models to Open Multimodal Reasoners.” arXiv:2610.15542. Preprint, arXiv, October 11, 2026. https://doi.org/10.48550/arXiv.2610.15542.

@misc{apertus2026apertus15opentext,
      title={Apertus 1.5: From Open Text Models to Open Multimodal Reasoners}, 
      author={Project Apertus and Yixuan Xu and Yassine Turki and Vinko Sabolčec and Valentina Pyatkin and Tommy Chu and Sven Najem-Meyer and Sean F. Carroll and Robert Smith and Raphael Kreft and Oscar Alessandro Tazza and Oleg Lavrovsky and Nicola Irmiger and Matteo Santelmo and Marian Schneider and Juan García Giraldo and Hanna Yukhymenko and Eduard Ďurech and Davit Melikidze and Dani Tamayo and Bettina Messmer and Aryan Ahadinia and Anunay Yadav and Allen Huang and Ahmad Fraij and Alessandro Bombarda and Alex Padula and Alexander Hägele and Alexander Sternfeld and Anna Hedström and Anna Kosovskaia and Arthur Wuhrmann and Arundhati Balasubramaniam and Badr Al Mahouri and Barna Pasztor and Bartosz Szostakiewicz and Bich Ngoc Doan and Bryan Schmid and Burak Sezen and Camille Challier and Clément Charmillot and Dana Shayakhmetova and Daniel Perruchoud and David Brüggemann and David Isztl and Elia Palme and Emma Anastassova and Fabian Bösch and Faruk Zahiragić and Fawzi Roberto Mohamed and Fiona Panicali and Florian Kolly and Flynn Guerra and Francesco Monti and Frederike Lübeck and Gennaro Oliva and Haofeng Yang and Haoliang Shang and Helen El Khoury and Henrique Mendonça and Jannis Vamvas and Jérome Landolt and Jessica Lam and Jingchun Xiao and Jonathan Coles and Joshua Oyebanji and Khanh Nguyen and Konstantinos Pitas and Lasse B. Strand and Li Mi and Loïc Deslarzes and Lorenzo Baggi and Lorenzo Noci and Luca Baumann and Luca Sartori and Lukas Drescher and Marco De Negri and Marco Passerini and Mark Klein and Marko Stojanovic and Martin Majsec and Matin Ansaripour and Mattea Busato and Mauro Pellonara and Max Neuwinger and Michael Graber and Michal Tešnar and Michelle Wastl and Miguel Gila and Mikolaj Boronski and Morgane Magnin and Moritz Reihs and Mukhammadali Sayfiddinov and Nathan Ranchin and Nicolas Cuveillier and Oscar Wohlfahrt and Qianqian Zou and Rada Kamysheva and Rita Sevastjanova and Roman Machacek and Sebastian Keller and Simon Matrenok and Simon Pierre and Stefano Schuppli and Suei-Wen Chen and Szabina Horváth-Mikulas and Taliesin Perez and Thilo Spinner and Thomas Kleine Buening and Tim Robinson and Tymoteusz Kwiecinski and Vilém Zouhar and Vinzenz Thoma and Xiaozhe Yao and Yannick Metz and Yuhei Fukuhara and Yusif Askari and Zixuan Chen and Alexander Ilic and Ana Klimovic and Andreas Krause and Andrei Kucharavy and Elliott Ash and Joost VandeVondele and Martin Rajman and Mennatallah El-Assady and Thomas Schulthess and Timo Kehrer and Torsten Hoefler and Antoine Bosselut and Martin Jaggi and Imanol Schlag},
      year={2026},
      eprint={2610.15542},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2610.15542}, 
}