LitPivot:在文献图谱中通过动态情境化帮助研究者打磨研究想法
LitPivot: Developing research ideas through dynamic contextualization within the literature landscape
Hugging Face 与宾夕法尼亚大学合作开发了 LitPivot,一个帮助研究者基于文献调整研究方向(literature-initiated pivot)的系统。
📄 论文
读到一篇新论文可能会改变一个研究想法的走向。研究者可能发现别人已经实现了自己提出的研究贡献,或者发现论文中一个尚未解决的问题,从而启发新的研究方向。
我们将这一过程称为文献引发的转向(literature-initiated pivot):由阅读已有工作引发的研究方向改变。它将研究者通常需要分开处理的两种活动联系起来:发展想法,以及决定用哪些文献来衡量它。
我们与宾夕法尼亚大学的合作者共同开发了 LitPivot,这是一个帮助研究者应对这类转向的系统。LitPivot 使用通过 Asta Paper Finder 检索到的论文,围绕研究提案中被编辑的部分组织文献,提供有研究摘录支持的批评意见,并给出研究者可以接受、编辑或拒绝的修改建议。LitPivot 旨在用于早期研究构思,但这一理念也可能扩展到更长的写作任务(例如撰写论文的引言部分)。
在一项有 17 名研究者参与的研究中,领域专家认为使用 LitPivot 开发的研究想法比使用文本编辑器和 AI 聊天工具开发的想法在文献基础方面更扎实。参与者还认为自己修改后的研究想法更具新颖性和实用性,并对相关文献有了更深入的理解。
LitPivot 将在底特律举办的 UIST 2026 上发表。点击这里阅读论文。
为什么转向很难
研究想法是通过与文献的互动而演进的。在我们对四个已完成的计算机科学研究项目的会议记录进行分析时,我们在所有四个项目中共识别出 21 次文献引发的转向。这些转向分为两类:将想法与已有工作区分开来以确立其新颖性,以及将想法与已有工作对齐以便在其基础上继续发展。这个项目本身在确定研究贡献之前就经历了两次转向。
这些转变可能很难应对。在一项形成性研究中,五名研究者使用文本编辑器和标准搜索工具撰写研究提案。他们难以做到既发展自己的想法,又批判性地对照文献进行评估。当某篇论文挑战了一个想法的新颖性时,他们希望获得具体的修改建议,并有已有工作作为支持。这些发现塑造了 LitPivot 的评估方式:将基于文献的批评与针对所选想法部分的具体修改建议相结合。
LitPivot 的工作原理
在 LitPivot 中,研究者首先在编辑器中撰写一份简短的提案,并启用我们称为分面高亮(facet highlighting)的功能,它会将一个已表述的想法切分成不同的分面(例如问题、贡献和评估)。要检查某个提案分面,研究者只需在草稿中点击相应片段。相邻面板会根据所选分面对相关论文进行分组(例如,当选中评估分面时,按论文使用的评估方法进行分组),并高亮最相关的分组。研究者选择论文、请求评估,然后在审阅建议修改的同时查看支持批评意见的摘录。之后,系统会根据与修改后分面的相关度对文献重新排序。
具体来说,LitPivot 将一个研究想法拆分为其问题、拟提出的贡献和评估计划。每个切面都拥有自己的一组相关文献及其相关性排序。LitPivot 会围绕正在编辑的切面对检索到的论文进行分组,让研究者选择系统应使用哪些论文来评估草稿。
与 Prism 等科学写作环境以及 Claude Code 等智能体助手并行,LitPivot 探索了一种发展早期研究想法的新工作流程:选择文献来评估想法,利用这些证据修改想法,并随着想法的变化重新考虑哪些论文是重要的。它的论文分组和关联的评述让提案的每个部分对应的这些步骤都清晰可见,同时研究者既掌控草稿,也掌控用于评估草稿的证据。
对于问题陈述,LitPivot 会寻找证据,证明该问题确实存在及其为何重要。对于拟提出的贡献,它会将所选论文已经解决的问题与其描述的局限性和未来工作进行比较,寻找尚未填补的空白。对于评估计划,它会检查所提出的测试是否解答了研究问题,以及类似的工作是如何被评估的。随后,系统会附带支持性引文,给出重写建议。
修改一个切面可能会使另一个切面过时。LitPivot 会标记可能需要修订的段落,例如一个已无法充分评估修改后贡献的评估计划。研究者可以接受、编辑或拒绝这些建议,并随着提案的发展请求新的论文或刷新文献排序。
改写自一位研究参与者的示例。
我们的发现
在实验室研究中,17 位研究者各自使用 LitPivot 开发一个指定的想法,并使用基线工具开发另一个——基线工具是一个文本编辑器和一个用于就所选论文提问的 AI 工具。两种条件使用了相同的论文集合。两位不知道使用了哪种系统的领域专家,仅依据一个标准对最终提案进行评分:它们利用相关文献来支持和论证该想法的效果如何。使用 LitPivot 开发的提案获得了更高的评分。
同一研究中的参与者还报告称,与基线相比,使用 LitPivot 时他们对相关文献的理解更深入,并自述在想法的新颖性和实用性方面有更大的提升。领域专家还审阅了参与者的想法,并评定使用 LitPivot 修改后的想法在相关文献的基础上明显更扎实。
在我们实验室研究中,一位参与者最初提出的提案是生成一致且符合事实的合成医疗记录。LitPivot 识别出跨多次就诊的一致性是所选文献中的一个潜在空白。该参与者查阅了摘要,并移除了关于单次就诊记录的论文。经过再次评估后,他们将提案缩小为检测来自多次就诊记录中的矛盾之处。这个例子展示了修改想法与选择用于评估想法的文献如何相互启发。
在一项后续研究中,五位研究人员在30分钟的会话中在自己正在进行的项目上使用了 LitPivot。参与者不仅在项目初期,还在多个项目阶段使用了 LitPivot。两人用它根据文献审视新想法,三人则用它完善较为成熟想法的框架定位。一位研究人员强调,看到来自不同领域的平行概念帮助他们重新框定了自己的贡献。
这些研究表明,LitPivot 既能支持早期探索,也能支持对已有研究方向的完善。
支持科学发现
在 Ai2,我们正在开发 AI,帮助研究人员提出可检验的想法并审视其背后的证据。Asta 通过 从已发表的研究成果生成理论(Theorizer)、综合,以及 在数据上生成并检验假设(AutoDiscovery) 来支持这一工作,而 HARPA 则结合新兴研究趋势生成有前景的假设。Scideator 让研究人员将先前工作的要素重新组合成新想法并评估 其新颖性,IdeaSynth 则支持以文献为依据的反馈驱动的迭代完善。
我们最近的研究 Old Ideas, Novel Problems 探讨了自动化新颖性评估的局限,展示了微小的提示词改动如何改变 AI 评审对同一想法的判定。LitPivot 延续了这一工作方向,将相关文献的选择纳入修订过程。研究人员可以随着想法的发展更换用于评估提案的论文,然后利用批评意见和支撑性摘录来决定如何修改。该系统将这些决策贯穿于提案的问题、贡献和评估计划之中。
我们希望从 LitPivot 中获得的洞察能帮助科学家在已有知识的基础上进行构建,并将早期的想法转化为对其领域的新贡献。
来源: Hugging Face Blog · huggingface.co


