Handshake AI 一年做到 10 亿美元年化收入：前沿实验室到底在买什么数据
What Frontier Labs Buy: A Data Deep Dive with Handshake AI — Garrett Lord & Team
Latent Space 播客与 Handshake AI 团队深聊，其 AI 训练业务约一年内从上线做到 10 亿美元年化收入。节目分三段演示 RL 环境与评测：金融任务中智能体把客户邮件中的商誉数字带入 Python 却弄错税务规则的适用位置；生物方面展示 VIALS 科学图像基准，脑组织血管坏死判读中模型答案与专家仍有差距；对齐方面跟踪智能体在安全模拟中的工具调用与文件发送行为。
← 对话节目Latent Space 播客
Handshake 在一年内从发布走到 10 亿美元估值，不断推动前沿实验室专用数据的发展。这是我们首次深入探访一家数据实验室，并给出金融、生物和对齐领域的具体示例
收听本期对话164 分钟
这是我们首次与一家 AI 数据公司进行 Latent Space 深度对话。在大约一年时间里，Handshake 的 AI 训练业务从发布做到了 10 亿美元的年化总营收。前沿实验室在这个规模上买的是什么？模型在哪些评测上仍远未达到人类水平？Garrett Lord 带来了构建这些强化学习环境的团队为我们展示。这是第一次，我们现场走读这些环境！
为了覆盖 Handshake 的全貌，我们制作了一期非常特别的联合播客，汇集了我们的科学/工程/研究/金融播客主持人，因为 Handshake 的业务横跨所有这些领域甚至更多。
在通用介绍之后，请关注三个环节：
金融。在金融演示中，智能体需要在银行邮件中找到自己的任务，弄清哪些文件管辖这笔交易，并交付一个工作簿。留意客户邮件中关于现有商誉的那一行发生了什么。智能体把这个数字带入 Python 并进行减法运算。Collin 指出，直接询问时模型能够解释税务处理方式。错误出在它必须识别出这行代码正是规则适用的地方。
生物。Nick Magazine 和 Jonas Mueller 为我们展示了 VIALS，这是 Handshake 用于解读科学家工作中所用图像的基准。Nick 在屏幕上放出九张脑肿瘤组织切片，问哪两张显示最严重的血管坏死。在听他揭晓答案前，先给自己一点时间。Nick 选择了 H 和 I。模型选了这两张，还多加了 G。看 Nick 指出组织中缺失了什么，比看得分更有启发意义。
编程。在一个模拟的文件访问任务中，团队可以检查智能体读取了哪些文件、是否核对了副本，以及它随后对 shell 历史做了什么。仅凭智能体最终回复的文字稿，会错过 Steve Kelling 和 Nishant Ranka 所评估的大部分内容。
在场嘉宾
🟣 AI 数据业务 — Garrett Lord、Sahil Bhaiwala 和 Nishant Ranka 在节目开头和结尾谈专家数据市场。
🌸 生命科学 — Nick Magazine 和 Jonas Mueller 在屏幕上演示凝胶和脑组织任务。
🟢 金融 — Collin Schweiker 和 Sahil Bhaiwala 带我们了解 Project Falcon 及其 Excel 评分器。
🟠 对齐 — Steve Kelling 和 Nishant Ranka 追踪智能体在安全模拟中的工具调用。
节目备注
ATLAS-Finance — 探索这个针对在模拟银行的收件箱、文档和财务模型中工作的智能体的基准。
走进一家银行 — Handshake 梳理了另一个已公布的交易 Project Osprey，从客户邮件到评分决策。我们访谈中屏幕上展示的交易是 Project Falcon。
VIALS 示例任务 — 试试这些科学图像问题，包括本期节目中的凝胶和脑组织任务。
Handshake 如何训练模型阅读科学图表 — 团队介绍了如何使用中间图像描述来训练和评估视觉语言模型。
时间轴
0:00 走进 Handshake AI
0:39 Garrett、Sahil 和 Nishant 谈前沿训练数据
5:15 如何为智能体构建银行环境
13:07 前沿实验室如何购买数据
15:51 实验室如何评估新数据集
20:01 在开源模型上测试训练数据
27:38 评分标准在哪些方面不如专家判断
31:30 Nick 和 Jonas 介绍 VIALS 基准
35:52 阅读分子结构和质粒图谱
43:48 训练视觉模型解读科学图像
47:17 任务一：读取凝胶电泳条带
50:59 任务二：在脑组织中发现坏死
55:49 Python 工具能帮助模型“看”吗？
1:02:52 生物学模型能否自我改进？
1:06:19 生物学实验室能从 Handshake 买到什么
1:12:33 与 Collin 和 Sahil 谈 Atlas Finance
1:18:56 走进一家模拟投资银行
1:25:45 智能体的财务模型在哪里出了错
1:31:18 银行家如何给电子表格打分
1:41:12 扣分陷阱、依赖门控与部分得分
1:46:41 智能体如何钻了 Excel 评分器的空子
1:48:52 怎样才能让 AI 银行家真正有用？
1:54:48 与 Steve 和 Nishant 谈安全与对齐
1:58:25 CAREBench 与拒绝回答的局限
2:04:42 安全反馈如何进入模型训练
2:07:21 当智能体发送了错误的文件
2:11:14 一份贷款申请对公平借贷的考验
2:16:09 为企业设计私有基准
2:25:37 领导团队谈 Handshake 的使命
2:28:36 企业何时需要自己的模型
2:33:03 算力与专家数据的市场
2:39:12 实验室为什么要扣留评估任务
2:43:01 加入 Handshake AI
感谢阅读
比潮流稍稍领先一步。
新鲜观点、独家报道和深度对话，直达你的收件箱。
来源： Latent Space · latent.space