OpenAI Decisions API 面向所有用户开放，决策模型竞争升温
OpenAI makes its Jev competitor widely available as decision model competition heats up
OpenAI 宣布 Decisions API 正式向所有客户开放，该模型于 9 月 29 日开发者日首次公布，通过重新配置 ChatGPT Luna 实现更快的推理和更低的成本，官方称延迟从 1-3 秒降至 100-180 毫秒。
OpenAI 首次将其 Decisions API 模型广泛开放给用户，进入了快速、廉价智能的市场——这一市场最近让由这家前沿实验室前研究员创办的初创公司 TypeSafe 成为了一家 76 亿美元的公司。
TypeSafe 的 Jev 模型开创了一个品类：充当超级分类器的深度学习模型。给定一组选项，它们可以快速做出选择，并为决策提供置信度评分。软件开发者很快发现，这些决策模型或“系统一”模型可以在各种工作流中取代 LLM，运行更快，成本也大幅降低。
OpenAI API 产品负责人 Nikunj Handa 告诉 TechCrunch，他的同事们看到 Jev 后说：“哇，我们有一百万个用例可以用上它。”Handa 的团队迅速冲刺推出了自己的版本：他们没有构建一个专门校准的决策模型，而是采用 ChatGPT Luna，对其进行重新配置以加快推理速度并降低成本。
“Decisions API 的重大突破在于速度，把耗时从一到三秒缩短到 100、120、180 毫秒，”Handa 说。“未来，我们可能会进行专门训练，让我们的模型在这些方面表现得更好。但现在，它就是普普通通的老 Luna，把活儿干完。”
该产品在 9 月 29 日的公司开发者日上宣布，Decisions API 已于周四向所有客户开放。OpenAI 在公开版本中加入了新的语音和视觉模态，并通过按地域部署推理资源，努力确保全球各地区都能获得更低的延迟。
在与 Box、Datadog、Ramp 和 Speak 等客户的初步试用中，工程师们使用该 API 取代 OpenAI 的 LLM，以获得更高的吞吐量。打造 AI 语言导师的 Speak 公司 CTO Andrew Hsu 表示，Decisions API 使公司把动作之间的时间从 1.4 秒缩短到 0.13 秒。OpenAI 也用该产品提升了自己的 Dots 语音助手的响应速度。
不过，除了“对你有效”之外，究竟什么才算一个好的决策模型尚不清楚——在智能、成本、校准和速度之间的权衡似乎因工作负载而异。TypeSafe CEO Diogo Almeida 不信任基准测试，并敦促人们在自己的工作中试用模型，但即便是 TypeSafe 上周也在发布最新 Jev 模型（包含支持图片和 smart-if 语句等新功能）之际，发布了自己的排行榜。
像 AIM System One Index 和 Artificial Analysis Decision Index 这样的公开基准测试往往偏向 Liquid 上周发布的新决策模型 D1 Ultra，以及 Base Lab 的 Elephant-1。最新的 Jev 模型在两个榜单上仍具竞争力，分别位列第七和第三，而 OpenAI 的 Decision Model 则分别排在第八和第十四。不过，就目前而言，TypeSafe 的产品是 OpenRouter 上被查询最多的。
不过，最有意思的 Jev 基准测试是 JevMan——一个让决策模型玩吃豆人（PacMan）的基准测试，最新的 Jev 模型位居该排行榜榜首。构建该基准测试的 Opper AI 首席增长官 Felix Wunderlich 表示，这款经典游戏“是一个有趣的测试，因为它需要不停地做出快速、高风险的决策。在每个路口，模型都必须在几百毫秒内决定去向。”
OpenAI 那个能力可以说更强的模型的优势可能在于多模态——在图像分类方面，“Luna 非常强大，校准表现更好，”Handa 告诉 TechCrunch，并补充说 OpenAI 客户希望 Decisions API 在使用图像作为输出方面更加灵活。
Handa 还看到了速度的进一步提升所带来的新用例：“我们能不能把它做到 60 毫秒左右？那样你就可以想象为视频里的每一帧都发起一次类似 API 的调用？”
随着这些服务变得更快、更便宜，我们可以期待它们不负 Jev 之名——这位经济学家 解释了 为什么更高效地使用某种资源反而会让它更加普及。或者，正如 Handa 所说，将会出现不断扩大的“疯狂用例集”，它们此前一直藏在眼皮底下，直到决策模型将它们揭示出来。
当你通过我们文章中的链接购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。
Tim Fernholz 是一位撰写技术、金融和公共政策相关报道的记者。他持续密切关注私营航天产业的崛起，并著有《Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race》一书。他曾在全球商业新闻网站 Quartz 担任高级记者十余年，职业生涯始于华盛顿特区的政治记者。 你可以通过发送电子邮件至 [email protected]，或通过 Signal 向 tim_fernholz.21 发送加密消息来联系 Tim，或核实其是否确实联系过你。
来源： TechCrunch · AI · techcrunch.com