The Verge 作者实测 M5 Ultra Mac Studio 上的本地 AI：用 Hermes Agent 整理 Steam 库与处理隐私数据

我即将踏上一段我一直犹豫要不要开始的旅程：真正地把 AI 用在日常。把最私人的数据交给云服务一直是我的最大顾虑，但现在越来越可以在本地运行强大的模型，看看它们到底有多大本事。这项技术是否好用到我值得花一大笔钱买一台配备大量溢价内存的台式机或笔记本？我会尽力帮你找出答案。我不是 AI 专家，这对我自己也是一段旅程，但也许我能帮你判断这段旅程是否值得一走——我会一路把过程记录下来。

苹果为其新款 Mac 台式机的一大卖点就是它们非常适合本地 AI，同时一整条新的 RTX Spark Windows 机器也即将上市，配备高达 128GB 的内存，瞄准智能体 AI 应用。本地 AI 和智能体现在正是火得不行的时候。不过，认真说，让一个小帮手完全住在我的桌面上、只听命于我而不受 OpenAI、Google、Microsoft 或 Anthropic 这些巨头管控，这种感觉和信任云服务或订阅聊天机器人确实不太一样。别误会，我仍然绝不会让它替我写作、替我编辑，或生成丑陋的传单。但现在，有了一点隐私保障，也许我终于能想出一些值得“托付”给它的琐事了。

因此，在我对 M5 Ultra Mac Studio 持续测试的过程中，同时也在其他 Mac 和 Windows 系统上做实验，我安装了一些本地 LLM，开始动手折腾。以下是目前的情况。

1/4

我先在 Mac Studio 上安装了开源的 Hermes Agent。Hermes 是一款自托管的 AI 智能体桌面应用，支持 macOS、Windows 和 Linux。只要坚持使用本地 LLM，它完全免费。由于这台 M5 Ultra Mac Studio 拥有 256GB 统一内存，我几乎可以运行任何想要的模型。事情很快就让人眼花缭乱。模型多得数不过来，有些还有专门用途。一般来说，参数量达到数千亿的模型比只有几十亿参数的小模型能做的事更多。而且既然本地运行模型不用为 token 付费，我决定一开始就上大的。

通过 Hermes 简洁的引导界面和模型选择器，我选了 Qwen 3.8 Flash Next 模型——一个 1250 亿参数、体积约 105GB 的模型。我还打算在更小的设备上体验小得多的 Qwen 模型，比如 M6 Mac Mini、M5 MacBook Air、搭载 AMD Strix Halo 处理器的华硕 TUF Gaming A14，以及最终的 RTX Spark。（想分享你使用的本地模型和硬件吗？你知道在哪儿留言。🫡）

很快我就让 Hermes 和 Qwen 跑了起来，甚至还通过一个 Telegram bot 让它们可以通过我的手机来控制。但随后，我遇到了使用 AI 时一贯的老对手：文本框。

“这玩意儿我该拿它做什么？”

首先，为了让事情运转起来，我参考了一些有用的 YouTube 建议，让 Hermes 为我生成每日晨间简报——先从小的开始，用一个 cron 任务确保一切正常工作。它会扫描我的邮件和日历，告诉我任何值得立即关注的事情，并给我一份简短的天气预报。它并没有那么有用，而且显然你不需要一台 12,000 美元的电脑来构建它，但它是我可以随时间不断完善的东西。简报起初总是生成失败，但后来我最终发现，任务在早上 7:30 触发时 macOS 不能处于睡眠状态。真笨！现在它像钟表一样准时运行，但我还得想出更多让它抓取的信息，让结果更有用。

一个更有用的任务是整理我的 Steam 游戏库。我在 Steam 上有 400 多款游戏，最近我开始对它们进行分类，以便在我心血来潮想玩点新东西时使用。Steam 不会自动帮你分类游戏，所以你必须手动逐一进行。而这正是智能体帮手可以大显身手的地方。我问：“你能重新整理我的 Steam 游戏库吗？”Hermes 只需查看已安装的 Steam 客户端就能看到我的大部分游戏。它很快为我想出了一些整理方案。我决定让它按类型整理我的游戏，但保留一些我自己的特殊分类（最爱、合作游戏、聚会游戏、和我妻子一起玩的游戏等等）。

你得给本地 AI 一定的机器权限才能让它替你执行操作，就我的游戏库而言，我必须注册一个 Steam web API key 并交给 Hermes。一旦它获得了该访问权限，只花了几分钟就把所有游戏分类整理完毕。而且 API 密钥之后很容易撤销，因为我不再需要它了。我的想法是让它一次性替我完成这项繁重的工作，之后我购买新游戏时再自行归入相应分类。总体上它做得不错，现在我的 Steam 游戏库一目了然。

1/2

我做的另一件简单事情是数据分析。我让 Hermes 查看财务记录并为我计算一些数据，还让它为选购新笔记本制作了一个规格对比电子表格。这些都是小事，但都是我不能或不愿交给任何云服务的任务——我不想把那些敏感数据上传到云端，而且就新笔记本而言，那些信息还在保密期内。把它们留在我的电脑上，是我是否使用这个工具的关键区别。

我目前正在进行的更大规模的自动化项目，是一个运行一系列笔记本基准测试的脚本。我们的所有基准测试都是手动运行的，照看一台笔记本运行十几项测试——每项跑三遍取平均值——非常耗时。我很想至少把其中一部分自动化。即便是引导 Hermes 了解所有必需的流程并让它生成“凭感觉编写”的 Python 脚本，也颇费了一番功夫，这项工作仍在进行中。但我希望能取得一些积极进展。

我与 Hermes 合作还处于早期阶段，我希望这只是我能让它为我做的有用事情的冰山一角。但也很明显，即使是这些强大的本地模型，也无法造就一个无所不能的神奇助手。事情仍然不总是按预期进行——我的每日简报已经崩溃了好几次。

我把 Hermes 和本地 AI 仅仅视为一个工具，一个在我电脑上运行的计算机程序。我不想要一个数字朋友。我不会说“谢谢”或“请”，也不会在改变主意时输入“抱歉”。在指挥它做事时，我保持像在操作系统中点击鼠标一样冷冰冰、无动于衷。

在我继续用本地 AI 测试和学习的过程中，我希望能保持警惕和谨慎。让我们看看它会把我带向何方。

关注这篇文章的话题和作者，以便在你的个性化主页信息流中看到更多类似内容，并接收邮件更新。

• Antonio G. Di Benedetto