Semiconductor Engineering 芯片与封装· Quadric.io·· 4 小时前AI 评分28
Quadric Chimera GPNPU 如何支持可变长度提示词
Variable-Length Prompts on Chimera GPNPU
AI 导读
Quadric Chimera GPNPU 支持单一编译图处理从短语音指令到数千 token 的任意提示词长度，最长可达配置容量。传统编译推理栈通常针对固定长度（如 1024 token）运行，短提示词的其余位置靠 padding 计算，需要为不同长度构建多个二进制文件并逐一验证。Chimera GPNPU 只需一个二进制即可覆盖所有长度，减少 padding 浪费和多版本维护成本。
正文 · AI 翻译
灵活的二进制文件如何能够服务到你设定容量之内的每一种长度。
如果你正在为边缘产品选择语言模型的规模，它会面对的提示词长度跨度很大。一条语音指令只有十几个 token，一段粘贴的文档则有数千个，而同一台设备要同时服务两者。在软件栈的某个地方，会做出一个决定：在你预留的最长提示词与实际到达的提示词之间留有多大的差距。这个决定了你要构建并验证多少个二进制文件，也决定了每次推理中有多少计算是花在填充上的。
大多数编译型推理栈根本不做这个决定。为 1024 个 token 编译的计算图每次运行都处理 1024 个位置。如果你发送 50 个 token，其余 974 个位置就作为填充来计算。要高效地同时服务长短提示词，你必须为每个长度范围构建单独的二进制文件并逐一验证。Quadric Chimera GPNPU 不是这样工作的。它给你一个保证和一个优化。
请在此阅读更多内容。
图 1：一张计算图服务于配置容量之内的所有长度。来源：Quadric
来源： Semiconductor Engineering 芯片与封装 · semiengineering.com