跳到正文
Microsoft Research· Anson Ho·· 4 小时前AI 评分38

Microsoft Research Focus 第 98 期:从 KLS 猜想告破到 AI 编码智能体提效

Microsoft Research Focus – Edition #98

AI 导读

Microsoft Research 发布第 98 期 Focus 通讯,涵盖多项研究进展。针对编码智能体的 context compaction,新研究分析 1350 万次编码会话,发现不足 8% 触发压缩却占总 AI 处理成本 44%,并提出基准 COMPACTIONBENCH 与方法 APEC,可降低成本最多 25.4%、缩短执行时间 9.6%。

正文 · AI 翻译

[音乐淡出]

在位于东京的 Microsoft Research 实验室,研究实习生 Lilika Makabe 在帮助塑造一个新研究社区的同时,也找到了提升自己专业能力的机会。 

Makabe 加入实验室时拥有计算机视觉背景,与探索机器人技术和物理智能——即能够解读信息并在物理世界中采取行动的 AI 系统——的研究人员并肩工作。 

她的经历表明,研究实习带来的不仅仅是技术训练。通过动手实验、跨学科协作,以及与来自不同背景的同事的日常交流,Makabe 在为实验室不断壮大的社区做出贡献的同时,也拓宽了自己的研究视野。 

你可以在 Microsoft Research 博客上阅读她的经历。 

[转场音乐] 

用 AI 打破语言障碍 

几十年来,科幻小说一直在想象一个语言障碍不再阻碍交流的世界。 

例如,1967 年,《星际迷航》(Star Trek)引入了虚构的通用翻译器。如今,AI 的进步正让这一可能性更接近现实。 

在一段新的对话中,Microsoft 应用科学经理 Jinyu Li 探讨了 AI 如何推动跨语言交流的前景、研究人员已取得的进展,以及仍然存在的挑战。 

想了解更多,请收听或观看播客《我们的数字生活》(Our Digital Life)的完整节目,可在 YouTube 和播客平台上收听或观看。 

[转场音乐]

解决一个有 31 年历史的数学难题 

在过去 31 年里,KLS 猜想一直是高维几何领域的核心未解问题之一。但现在不再是了。

新的研究解决了这一猜想。这消除了理解科学和计算领域广泛使用的随机算法效率问题上的一个重大理论障碍。 

这一突破为对数凹分布确立了一个普遍原理:无论维度如何,简单的平面切割都能在固定倍数范围内识别出它们最窄的瓶颈。研究结果已得到独立验证,该证明也通过计算机辅助方法进行了形式化验证。 

在 Microsoft Research 博客上了解更多关于这一突破的信息。

[转场音乐] 

让 AI 编码智能体更高效

编码智能体可以在编写和修改代码时提供帮助,但长时间的会话可能会耗尽 AI 模型一次能处理的信息量。因此,编码智能体会在一个被称为上下文压缩的资源密集型过程中总结先前的交互。

一项新研究分析了 1350 万个编码会话,发现其中不到 8% 需要上下文压缩。然而,这些会话却占了 AI 处理总成本的 44%。 

为了应对这一挑战,研究人员开发了 COMPACTIONBENCH。

COMPACTIONBENCH 是一个用于评估长时间运行编码任务中上下文压缩的基准。他们还推出了 APEC,这是一种在后台准备摘要、而不是中断智能体工作的方法。 

在评估中,APEC 提升了编码性能,同时将成本最高降低 25.4%,执行时间降低 9.6%。 

[转场音乐]

改进 104 种语言的 AI 分词

在 AI 模型处理文本之前,它们会将文本拆分成称为 token 的更小单元。文本如何被切分会影响效率和性能,尤其是在不同语言之间。 

大多数分词器的设计目标都是尽可能高效地压缩文本。但一项新研究表明,仅有压缩是不够的。 

研究人员推出了潜在核心分词器(Latent Core Tokenizer,简称 LCT),它在跨语言构建共享词表之前,先识别单词中可复用的组成部分。 

在涵盖 104 种语言的评估中,LCT 生成的 token 在语言学意义上比领先的同类方案更具意义,同时在各语言之间保持了相当的效率。它还在四个多语言基准测试中提升了模型性能。 

这些发现表明,更好的分词不仅取决于能压缩多少文本,还取决于能否很好地保留语言的底层结构。 

[MUSIC]

以上就是本期 Microsoft Research Focus。 

从推动发现的研究文化与合作,到生成更具语言学意义的 token,这些只是微软研究人员正在探索的部分进展。 

想了解更多并保持关注?请访问 aka.ms/MicrosoftResearch(在新标签页中打开),并在各大社交平台上关注 Microsoft Research,探索最新研究、了解研究背后的人员,并持续关注塑造未来的想法。 

我是 Anson Ho,感谢收听。 

我们下期 Microsoft Research Focus 再见。 

[MUSIC FADES] 

来源: Microsoft Research · microsoft.com