跳到正文
Latent Space· Richard MacManus·· 2 小时前AI 评分61

AI Engineer Code Summit:Jev 带动的 System One 模型正被工程师用于构建"聪明软件"

The Jev Revolution: What Engineers Are Already Building with System One Models

AI 导读

TypeSafe AI 联合创始人 Diogo Almeida 在 AI Engineer Code Summit 上主张 System One 模型(非生成式、返回结构化选择或分数的快速廉价模型)应集成进代码实现"可靠智能",并呼吁"automate everything"。

正文 · AI 翻译

今天在 AI 工程师代码峰会上,主要主题是 system one 模型——非生成式模型,返回结构化的选择、分数或概率。它们通常也比推理 LLM(即 system two 模型)快得多、便宜得多。 

还有谁能比 TypeSafe AI 联合创始人兼 CEO Diogo Almeida 更适合为 system one 模型发出鼓舞人心的号召呢?Almeida 是 Jev 的主要创造者,而 Jev 正是不到两个月前开启这一趋势的产品。

Jev 于 9 月发布时,对 AI 工程师来说是一次即刻的启示。在 发布时与 Latent Space 的播客对话(该节目迅速成为我们今年最受欢迎的一期)中,Almeida 解释了把 LLM 作为软件核心的核心问题:可靠性。 

在今天 AIE Code 的主题演讲中,他更进一步,宣称 Jev 是“可靠的智能”,应该用于“自动化一切。” 

将 system one 模型集成到代码中

AI 工程师特别感兴趣的是 Almeida 的观点:system one 模型应该与代码集成。正如他在主题演讲中所说,“代码是自动化的语言,因此你需要与代码集成。”

Latent Space 创始人 swyx 将此解读为一种号召:“在应用程序代码内部到处自由地撒入‘System One’模型调用,打造更智能的软件,而不是日益绕弯的‘把字符串拼接起来然后祈祷好运’式 AI 工程。”

“智能软件”这个词在 Almeida 的整场演讲中反复出现。这听起来像是 Web 2.0 时代微软或 IBM 等公司使用的术语,但在 AI 时代,它确实 signifies LLM 驱动软件的一个残酷现实:有时它就是不太聪明。正如 Almeida 在演讲中打趣道:“95% 的时间里你得到的是爱因斯坦,但有 5% 的时间里是憨豆先生。”

“而且如果你分辨不出哪个是哪个,那你他妈的还怎么自动化任何东西,”他补充道。

Almeida 最后发出了充满激情的呼吁:“自动化一切。”就像 AI 时代的、留着粉色头发的 Steve Jobs,他向“梦想家以及那些不想被迄今为止发生的一切所限制的人”发出呼唤,承诺 TypeSafe AI 想要“真正为你而战,我们希望这能像第四个逻辑门一样可靠。”

Glean 如何使用 Jev

紧跟在 Almeida 之后登台,任务并不轻松,来自 Glean 的 Chinmay Goyal 展示了 Jev 用法更朴实的一面。他解释说,Glean 在使用 LLM 的同时也使用 system one 模型和其他类型的分类器,而 Jev 特别适合“零样本灵活性”。

“随着决策空间分类体系的变化,我们不必一次又一次地微调这些模型,”他说。

在演讲后的简短采访中,Goyal 告诉 Latent Space,他们的客户实际上不需要知道自己使用的是哪种类型的模型。

“Jev 驱动了相当多的流程[但]用户只需要一个好用的产品;这始终是我们构建任何东西的目标。所以我们想隐藏掉我们是在使用 Jev 还是在使用完整的 LLM 的所有复杂性。”

在演讲的结尾,Goyal 给出了一些关于何时使用 Jev 的规则:

Jev 的模式与原型

AIE Code 的下一位演讲者是来自业务编排与自动化平台 UiPath 的 Chibi Vikram 和 Kevin Bernstein。他们的一个示例展示了 Jev 对文档块进行排序的测试。他们举办了一场“锦标赛”:Jev 从小组中挑选出最相关的文档块,胜出者进入下一轮,以此类推。即使进行了数千次 Jev 调用,整个过程也只用了不到一秒。

“我们意识到,Jev 是一个可以调整的构建模块,”Vikram 谈到这个以及其他实验时说,“我们必须找到能够应用这个构建模块的新策略。它单独来看可能显得不那么智能,但借助这些策略和模式,我们可以获得更智能的表现——即便是用我们现有的 Jev 模型。”

Workday 的首席工程师 Scott Roberts 用他的团队用 Jev 运行的一些原型,为 AIE Code 的“系统一”环节收官。

在其中一个原型中,当用户还在打字时,界面就开始填写请假卡片。这生动展示了 Almeida 的观点:一次快速的模型调用可以改变软件本身的行为。Roberts 将其描述为“从预测你想说什么,到预测你想做什么”。

就像早期的互联网

我从今天的系统一演示中得到的最大收获是,像 Jev 这样的模型能够开辟构建软件的惊人新方式。我旁边坐着一位会议参会者,他是公司的 AI 负责人。他告诉我,他在业余时间用 Jev 创建了一个网站,用来对梦幻橄榄球相关的新闻进行分类和排序。

但最后的话必须留给 Almeida,他把系统一模型开辟的新机遇比作早期互联网时代的探索实验。

“我认为软件所能做的事情将会出现爆炸式增长,我们需要人们去探索软件的这些边界。不一定是因为它有价值,而是因为他们可以做到,因为我们有新的前沿可以去探索,这正是早期互联网的模样。”

来源: Latent Space · latent.space