AI 半导体范式正转向内存：OXMIQ Labs 的 Raja Koduri 解析 SK hynix AI 内存生态系列（第 4 部分）
[AI Ecosystem] The semiconductor paradigm shifts toward memory
SK hynix AI 生态系统系列第 4 篇发布，OXMIQ Labs 创始人兼 CEO Raja Koduri 阐述 AI 半导体设计重心正向内存转移。文章指出计算单元能耗仅数 femtojoule，而从片外 DRAM 取数据可高出数百甚至上千倍；Transformer 模型参数庞大、数据复用少，缓存假设失效。AI 系统性能瓶颈正从算力转向数据供给，内存成为架构设计的起点。
随着 AI 工作负载向推理和智能体 AI（agentic AI）演进，系统性能的评判标准也在发生变化。仅仅依靠算力已经不够了。数据存储在哪里、移动速度有多快、处理效率有多高，如今都直接影响 AI 系统的性能与效率。
本系列文章将探讨 AI 生态系统的转型——软件、数据中心基础设施、半导体与内存技术如何协同工作。文章还将分析为何内存半导体已成为
AI 时代的基础技术，并阐述 SK 海力士构建下一代 AI 内存生态的愿景。
第四篇的主角是 OXMIQ Labs 的 CEO Raja Koduri，他曾在 Apple、AMD 和 Intel 领导 GPU 和 AI 加速器架构开发。他将与我们探讨 AI 半导体设计的重心为何正在转向内存。
① AI 计算的范式转变
② 真正的瓶颈：数据而非算力
③ 基础设施的重构：为何架构决定性能
④ 半导体的范式转向内存——OXMIQ Labs 创始人兼 CEO Raja Koduri
⑤ 完成 AI：物理智能与内存的角色
AI 基础设施性能的关键决定因素，正从单个计算设备的能力转向整个系统的数据流动。性能与效率越来越取决于 GPU、内存、网络和存储如何协同工作。这一转变也在改变半导体设计者需要面对的根本问题。为了更快地供给数据并减少不必要的来回搬运，芯片、封装以及内存本身的架构都必须演进。
芯片设计的重心正在向内存转移。这并非一时的技术潮流，而是一场由物理限制驱动的结构性转变。在摩尔定律*的指引下，半导体行业持续将更多计算电路集成到单一裸片上，如今的 AI 加速器已达到每秒千万亿次（petaflops）*级别的性能。然而，为这些计算设备供给数据所需的带宽却未能同步跟上。
* 摩尔定律：由 Gordon Moore 于 1965 年提出的一项观察，即集成电路中集成的元件数量历来按固定周期增加。它是半导体行业最著名的经验法则之一
* Petaflops（每秒千万亿次浮点运算）：一种计算性能单位，相当于每秒 10¹⁵ 次（即一千万亿次）浮点运算，常用于描述 AI 加速器和超级计算机的性能
计算本身已经变得相对廉价。乘法和加法运算只需要几飞焦（femtojoule）*的能量。然而，从片上 SRAM* 读取数据消耗的能量要多得多，而从片外 DRAM* 获取数据的能耗可能高出数百倍甚至数千倍。数据需要从计算设备移动的距离越远，时间和能量成本就越高。
* 飞焦耳(fJ):能量单位,等于一千万亿分之一(10⁻¹⁵)焦耳。在半导体领域,用于描述单次计算或数据访问所消耗的极小能量
* 片上 SRAM、片外 DRAM:片上 SRAM 是位于计算芯片同一颗芯片上的高速内存,而片外 DRAM 则位于芯片之外。一般而言,内存距离计算设备越远,数据访问的延迟和能耗就越高
随着芯片上计算单元的集成密度大幅提升,性能瓶颈已逐渐转向数据供给。要让计算设备保持充分利用,所需的数据必须按时到达。无论集成多少计算电路,如果数据到达得太晚,其全部性能都无法发挥。
内存容量方面也面临同样的挑战。片上内存层级结构,从寄存器到共享缓存,速度很快但数据容量有限。相比之下,当今的 AI 模型需要处理的参数量和中间数据量要大得多。因此,数据必须从 HBM 或 DDR 中调入,使用后再换出,需要时再重新读取。这种反复的数据流动给系统带来了时间和能耗上的双重负担。
因此,AI 半导体的竞争正从单纯提高计算速度,转向可靠地供给足够的数据,以使可用的计算资源保持持续利用。在大规模训练和大批量推理中,计算资源似乎是瓶颈;而在低延迟、小批量推理中,内存带宽可能会限制性能。即便是同样的硅片,瓶颈的位置也会因工作负载而异。这正是内存在 AI 架构设计中日益成为出发点的原因。
计算机架构长期以来依靠缓存来减轻这一负担。缓存的前提假设是数据会被重复使用。一旦数据被带到离计算设备更近的地方,就可以被多次访问,从而把最初获取数据的成本摊薄到多次操作中。这一假设在传统计算工作负载中表现良好。即便是容量相对较小的片上 SRAM,也能大幅减少 DRAM 访问,使缓存数十年来一直是提升计算机性能最有效的手段之一。
然而,如今主导主流 AI 模型的 Transformer* 挑战了这一假设,因为它们要处理海量参数和长上下文。随着模型参数规模的显著增长,将所有权重都保存在片上已变得困难。在推理过程中,每个权重可能仅被使用有限次数,之后就需要新数据。这降低了数据复用率,使缓存更难以充分抵消最初获取数据的成本。结果,系统不得不反复从 DRAM 或 HBM 中读取数据。
* Transformer:一种利用注意力机制处理输入数据各元素之间关系的 AI 模型架构。它是现代大语言模型(LLM)的基础。
负担随着上下文长度的增加而增长。KV 缓存*的容量与上下文长度成比例扩大，而注意力*运算则同时增加计算量和内存访问量。处理长上下文的智能体还必须在任务的每个阶段检索状态信息。当大量此类智能体同时运行时，以 DDR 或 GDDR 为中心的传统内存架构可能难以应对由此产生的数据流。
* 键值缓存（KV cache）：大语言模型存储先前 token 注意力计算结果并在生成后续 token 时复用的内存区域。随着上下文长度增加，KV 缓存也会增长，从而提高内存容量和带宽需求
* 注意力：一种计算 AI 模型应关注输入上下文中哪些信息的机制。它是 transformer 架构的核心组件，其计算和内存访问需求会随着上下文长度的增长而增加
近年来还出现了 FlashAttention*、PagedAttention* 和投机解码*等更新的优化技术来缓解这一瓶颈*。虽然它们的方法各不相同，但目标一致：减少内存访问和数据搬运。这些技术减少了计算裸片与 DRAM 之间传输的数据量，减轻了推理过程中的内存负担。然而，即便内存访问效率更高，数据搬运的物理成本也无法完全消除。因此，半导体设计的方向十分明确：数据需要被放置在更接近执行计算的晶体管的位置。随着 transformer 的广泛采用，缩短数据与计算之间物理距离的架构将变得越来越重要。
* FlashAttention：一种通过减少注意力运算过程中的内存访问来提升处理效率的优化技术。它被用于缓解处理长上下文的大语言模型的内存瓶颈
* PagedAttention：一种注意力优化技术，通过以非连续页的方式管理 KV 缓存来提高内存利用率
* 投机解码：一种加速大语言模型推理的技术，由较小的模型先生成候选 token，再由较大的模型进行验证
* Tri Dao et al., “FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness,” NeurIPS 2022; Woosuk Kwon et al., “Efficient Memory Management for Large Language Model Serving with PagedAttention,” SOSP 2023; Yaniv Leviathan, Matan Kalman, and Yossi Matias, “Fast Inference from Transformers via Speculative Decoding,” ICML 2023
高带宽内存（HBM）作为应对这一挑战的首个重要架构方案应运而生，并已成为支撑当今 AI 加速器性能的关键内存层。
HBM 采用将多个 DRAM 裸片垂直堆叠、并通过硅通孔* 和中介层*连接到计算设备的架构。这将计算与内存之间的距离从厘米级大幅缩短至毫米级。其结果是带宽大幅提升，同时数据传输所需的能耗下降。这一架构在过去十年 AI 加速器的巨大进步中也发挥了重要作用。
* 硅通孔（TSV）：一种连接堆叠半导体裸片的微型垂直电气连接。在 HBM 中，TSV 是实现多个 DRAM 层之间数据移动的关键互连技术
* 中介层：一种类似基板的结构，用于在单个封装内连接多个半导体芯片，例如 GPU 和 HBM。它用于在芯片之间创建更短、更宽的数据通路
这些设计挑战在现实产品开发中反复出现。2015 年，作者在 AMD 参与了基于 HBM 的 GPU 的开发。后来，他在 Intel* 领导了“Ponte Vecchio”的开发，将 47 个 chiplet* 和四组 HBM2e 堆栈集成到单个封装*中。 这些项目表明，信号完整性、供电、热管理和机械稳定性等因素是决定实际性能和整体产品质量的关键因素。
* Chiplet：一种将大芯片划分为多个更小的功能裸片并在封装内进行连接的设计方法。它可以提高良率、可扩展性和设计灵活性
* Intel 关于 Ponte Vecchio 架构的官方资料
HBM 已经解决了 AI 加速器面临的大部分数据供给挑战。然而，未来的挑战更加复杂。HBM 的带宽受到多种因素组合的制约，包括计算裸片周围可用的接口面积、信号传输速度、供电以及热设计。堆栈内部也存在限制。当多个 DRAM 裸片堆叠、信号通过 TSV 和互连传输时，更长、更复杂的信号路径会增加信号损耗和干扰。这也会影响功耗和发热。随着 HBM 从一代迈向下一代，单纯增加带宽已不足以维持性能提升。
因此，业界的关注点正在从存储器本身扩展到整个系统。HBM 设计的范围也在扩大，涵盖基础裸片*、封装、互连、热设计以及实际工作负载的特性。性能越来越取决于存储器和计算器件能否在单个系统内紧密而可靠地连接。
* 基础裸片：位于 HBM 堆栈底部的裸片，为存储裸片与外部逻辑或封装之间提供连接和控制
随着存储器在系统性能中的地位日益核心，封装的角色也在发生变化。封装不再仅仅是后端组装工艺。它现在是系统架构不可分割的一部分，涉及计算裸片、存储堆栈、互连和供电结构的协同设计，以及散热的热通路。这些元素如何布置和连接，直接影响带宽、延迟、能效和可靠性。
2.5D 与 3D 集成、芯粒、中介层以及混合键合*都是为了缩短数据与计算之间物理距离而采用的方法。仅仅把多个功能模块放进同一个封装里是不够的。性能和效率取决于这些模块连接的紧密与可靠程度，以及互连架构与实际工作负载数据流的匹配程度。
* 混合键合（Hybrid bonding）：一种直接进行铜-铜键合、而不使用传统微凸点的封装技术，可实现更密集的裸片间互连。它用于缩短数据搬运路径，同时在相同面积内提供更宽的数据通路和更高的能效。
在大规模芯片项目中，看似微小的细节往往会演变成性能下降或可靠性问题。PCB 谐振*可能在特定频率下使信号和供电不稳定，而微凸点疲劳*会在反复的热应力和机械应力下降低互连可靠性。不同裸片之间的热相互作用还可能造成局部热点，进而影响性能或缩短产品寿命。因此，以存储器为中心的设计能否奏效，取决于在设计阶段能否精确地识别并解决这些细粒度的问题。
* 印刷电路板（PCB）谐振：印刷电路板的互连和供电结构在特定频率下使信号不稳定的现象。在采用高速信号传输的半导体系统中，它会影响性能和稳定性
* 微凸点疲劳：半导体裸片之间的精细互连——微凸点——在反复的温度变化和机械应力作用下产生的损伤累积。它会影响互连的可靠性和寿命。
混合键合是一种能在裸片之间实现更短、更密集连接的技术。用细间距的直接铜-铜键合取代传统微凸点，可以在相同面积内形成更多连接。这降低了信号路径上触点和互连带来的电气开销，同时在相同面积内提供更宽的数据通路。微凸点可能成为高速信号传输的瓶颈，而混合键合使裸片之间的连接更紧密、更密集，从而降低每比特的能耗。因此，将逻辑与存储器更紧密结合的高度集成 3D 架构，正成为一种可行的替代方案。
与此同时，芯片、封装与系统之间的边界正日益模糊。过去，GPU 的计算性能和 HBM 带宽是评估系统竞争力的关键指标。如今，系统设计者还必须考虑如何在有限的面积内分配计算、存储器和互连资源。有些工作负载需要更大的存储容量，而另一些则需要能在相同面积内搬运更多数据的更短、更宽的互连路径。因此，AI 半导体设计正在从组装通用组件，转向针对实际工作负载特性定制的集成架构。
到目前为止讨论的各项技术正汇聚于同一个方向：让数据更靠近计算设备。更大的缓存、HBM 以及混合键合等先进封装技术，都旨在缩短数据与计算之间的物理距离。更进一步，便引出了另一种减少数据搬运的策略：与其把数据搬到计算设备，不如直接在数据所在之处执行部分计算。
内存内处理*正是这一思路的延伸。在传统计算架构中，数据被送到计算设备进行处理；而 PIM 则把部分计算搬到数据所在之处。通过在 DRAM 内部、HBM 基底裸片上或其他内存技术附近执行某些操作，PIM 可以减少不必要的数据来回传输。
* 内存内处理(PIM): 一种在内存内部或内存附近执行部分计算，而不是把数据搬到计算设备的技术。在数据搬运成本高昂的 AI 工作负载中，它可以提升性能与能效。
PIM 并非要取代 CPU 或 GPU，而是很适合作为现有加速器的补充，用于那些数据搬运成本超过计算成本的工作负载。例如，对包含海量数据的大型张量*执行重复且相对简单的操作时，在内存层级中长距离搬运这些数据的成本，对整体系统效率的影响可能比计算本身更大。对于这类工作负载，在内存内部或内存附近执行计算，视工作负载*不同，可将能耗降低 10 到 100 倍。PIM 的主要优势与其说在于提升计算性能本身，不如说在于减少数据搬运。
* 张量: 一种多维数组，用于表示 AI 模型所处理的数据，包括图像、模型权重和中间计算结果。AI 计算就是对这类大型数据数组进行反复处理
* Raja Koduri,“The Shift Toward Memory,”为 SK 海力士 AI 生态系统系列分享，2026 年
这一转变正在把内存层级推向系统设计的起点。数据放置的位置、哪些操作在数据所在之处执行、以及何时把数据传输到中央加速器，这些因素都会显著影响系统效率。未来的以内存为中心的架构*很可能更接近一种模式：把计算带到数据所在之处，而不是把数据搬到计算设备。
* 以内存为中心的架构: 一种超越以向计算设备传输数据为中心的架构的思路，围绕数据所在位置以及内存层级的组织方式来协同设计计算、封装与互连
然而，仍有重大挑战需要克服。在把计算功能引入内存堆栈的过程中，最困难的难题之一便是散热管理。混合键合可以降低接口处的功耗，但当逻辑电路被放置在温度敏感的 DRAM 附近时，有效散去由此产生的热量依然是个难题。这是因为在有限的空间内，必须同时实现带宽、能效、可靠性和散热性能。
因此，实现 PIM 需要一种系统级的方法，将内存、计算、封装、散热设计和软件紧密集成在一起。在数据所在之处进行计算这一概念很简单，但将其转化为实际产品，需要具备能够精确协调所有这些要素的综合设计能力。
AI 芯片的关注焦点正在从单个计算裸片扩展到封装和整个系统。我们已经进入这样一个时代：仅靠改进任何单一要素，已不足以突破性能和效率的极限。
晶体管层面的创新依然不可或缺。那些能够降低工作电压和漏电流、同时提升计算效率的技术必须持续发展。然而，下一轮性能飞跃不能仅仅指望集成更多计算电路。如今更大的挑战在于，如何高效地利用现有的计算能力。
这就留下了三个关键问题。数据能被放置到距离计算器件多近的位置？当数据移动不可避免时，这些数据能以多快、多高效的方式传输？而在数据被取回之后，又能从中提取出多少计算价值？AI 半导体的未来创新，将取决于业界如何回答这三个问题。
半导体行业竞争的基础也在发生变化。如果说 CPU 时代的竞争体现在处理器性能上，GPU 时代的竞争聚焦于大规模并行处理，那么在 AI 时代，竞争力取决于能否将计算、内存、封装、互连和软件作为一个整体系统集成，同时最大限度地减少不必要的数据移动。
以内存为中心的架构，其核心理念是在 AI 系统中存储、传输和处理数据的整个过程中，将内存作为架构设计的起点。HBM 在靠近计算器件的地方供给数据，先进封装在内存与计算之间建立更密集的连接，而 PIM 则通过在数据所在之处执行计算，直接减少了数据移动本身。
AI 半导体的竞争力将越来越取决于这样的设计：让数据保持近距离，减少不必要的移动，并从相同的数据中提取更大的计算价值。没有哪种技术能逃脱物理定律。性能与效率上的差异，归根结底取决于精细的工程和不懈的优化。
下一篇文章将探讨这一转变如何延伸到物理 AI 和端侧 AI 领域。随着 AI 从云和数据中心扩展到边缘、设备和物理世界，性能将越来越不是仅仅取决于更快的计算器件，而是取决于让所需数据近在咫尺并确保其稳定传输的架构。
免责声明： 本文所述观点仅代表作者个人，不一定反映 SK hynix 的官方立场。
来源： SK hynix 内存技术 · news.skhynix.com