SK hynix 在 IEEE IEDM 发表 3D FeNAND 存内计算协同优化研究
[Inside the Research] In the AI era, NAND moves beyond storage to computing… 3D FeNAND co-optimization at IEEE
SK hynix 研究团队在 2025 IEEE 国际电子器件会议（IEDM）发表论文，提出对单元、非单元和页方案进行协同优化，以提升基于 3D FeNAND 的模拟存内计算（A-CiM）能效。
SK海力士提供针对AI系统优化的全栈AI内存解决方案组合，覆盖所有主要内存类别，包括高带宽内存（HBM）、DRAM 和 NAND 闪存。
为重点介绍支撑这些解决方案的研究以及公司更广泛的技术路线图，SK海力士 Newsroom 推出题为 [Inside the Research] 的系列文章。
第二部分探讨了共同优化单元（cell）、非单元（non-cell）和页（page）方案，以提高基于 3D FeNAND 的模拟存内计算（A-CiM）效率的方法。
[阅读论文]
· 标题：“Co-Optimizing Cell, Non-Cell, and Page Schemes for Energy Efficient Analog Computing in 3D FeNAND”
· 发表于：2025 IEEE 国际电子器件会议（IEDM）
· 作者：Won-Tae Koo 与 Jihun Kim，SK海力士 Global RTC 技术负责人
（摘要） | （全文）
随着大规模 AI 模型持续增长，与数据搬运相关的功耗和延迟正成为 AI 基础设施的主要瓶颈。为应对这些挑战，SK海力士研究团队聚焦于模拟存内计算*——一种将数据存储与计算相结合的架构——并提出了一种基于 3D FeNAND*、共同优化单元、非单元和页方案的方法。
AI 计算性能已无法仅用计算设备的速度来解释。数据存储在哪里、计算在哪里发生、以及能减少多少数据搬运，都会直接影响整体系统效率。在此背景下，存内计算正受到关注。CiM 通过在内存内部或附近处理数据，而不是持续将其传输到计算设备，从而减轻了数据搬运的负担。
* 模拟存内计算（A-CiM）：一种在内存内部以模拟形式执行计算的存内计算技术
* 3D FeNAND：一种引入铁电特性的 3D NAND 架构。它利用铁电材料的极化状态来存储数据并控制电流状态
在这些方法中，A-CiM 利用存储在内存单元中的电学状态来执行乘加*运算——AI 计算的基本构成模块。随着 AI 模型的增长，必须存储并反复访问的权重数据量也随之增加。因此，能够以高密度存储大量数据的架构正成为实现 A-CiM 的必要条件。
* 乘加（MAC）：一种反复执行乘法和加法的运算，是 AI 推理和训练中使用的基本计算
研究团队认为 3D FeNAND 是非常适合 A-CiM 的内存架构。商用 3D NAND 主要采用电荷捕获氮化物（CTN）结构，通过在氮化物层中捕获或释放电子来控制单元状态。虽然这种结构在密度方面具有优势，但在精确区分模拟计算所需的多个电流水平方面存在局限。
相比之下，FeNAND 利用铁电*材料电学状态的变化来控制单元电流。铁电材料即使在外加电场移除后仍能保持其内部极化状态。通过改变这种极化状态，可以存储数据并控制存储单元的状态。这些特性使 FeNAND 在以更低功耗精确控制多个电流水平方面，相较于传统 3D CTN NAND 具有优势。
然而，将 3D FeNAND 应用于 A-CiM 不仅仅是简单地改变单元结构。即使单元能够可靠地区分不同的电流水平，如果用于选择和控制单元的互连线中损耗了大量功耗，整体性能仍然受限。同样，即使互连线负担得到降低，如果未能按照 AI 模型的数据大小和计算顺序来利用页面，也可能引入不必要的开关切换和延迟。
* 铁电：一种即使在外加电场移除后仍能保持其内部极化状态的材料。由于极化方向可以通过电学方式切换，铁电材料可用于存储器件中的数据存储和单元状态控制。
这就是为什么单元、非单元和页面方案需要协同优化。为了将 3D FeNAND 的潜力转化为实际的 A-CiM 效率，单元级的电流水平控制、字线*开关开销以及页面利用率必须在单一集成架构中共同改进。
* 字线：用于选择和控制存储单元的互连线。通过对字线施加电压，可以对特定单元或单元组进行读取或写入。
这项研究的独特之处在于，它采用整体方法共同优化单元、非单元和页面方案，而不是分别改进各个部分。在 A-CiM 中，单元必须精确表示多个电流水平，而非单元组件必须在选择和控制这些状态时将功耗损耗降至最低。页面方案将用于计算的数据组织成合适的顺序和单位，以减少不必要的开关操作。
如果这三个领域中任何一个仍存在瓶颈，整体性能就会受限。即使单元能够精确表示数值，过高的字线开关开销也会降低能效。同样，即使互连线开销得到降低，页面内低效的数据组织也可能增加延迟。在这三个领域应用整体协同优化*方法，提升了基于 3D FeNAND 的 A-CiM 的计算吞吐量和能效。
* 协同优化：一种通过共同优化多个要素（例如存储单元、外围电路和计算方案）而非独立改进各要素来提升整体性能的方法。
协同优化的收益已得到定量验证。优化后的 3D FeNAND 架构与传统的基于 3D NAND 的架构相比，显著提升了吞吐量和能效。在相同芯片面积约束下，其吞吐量比传统 3D 阵列高出约 10 到 20 倍，能效高出约 4,000 到 5,000 倍。这些提升反映了 3D FeNAND 的高集成密度，以及通过对单元（cell）、非单元（non-cell）和页（page）方案进行协同优化所减少的数据搬运。
结果表明，性能提升不仅可以通过更高的存储密度来实现，还可以来自系统级优化。AI 计算效率并非仅由可存储的数据量决定。整体性能还取决于存储数据如何通过不同的电流状态来表示、这些状态如何通过互连进行控制，以及数据以何种顺序和单元用于计算。
这项研究的另一个重要意义在于，它拓展了 NAND 在 AI 系统中的潜在角色。在 AI 时代，NAND 不再局限于存储海量数据。它正朝着以下方向演进：为大规模 AI 模型提供高密度的权重存储，降低数据搬运和重写带来的能耗负担，并提升计算效率。
凭借其高集成密度、低功耗和多级控制能力，基于 3D FeNAND 的 A-CiM 展示了 NAND 从存储介质扩展为计算介质的潜力。特别是，单元、非单元和页方案的协同优化展示了在系统级优化 NAND 架构以满足 AI 工作负载需求的潜力。
基于 3D FeNAND 的 A-CiM 的瓶颈可分为三个领域——单元、非单元和页——每个领域都需要不同的优化方法。单元方案决定了数据如何通过不同的电流状态来表示。非单元方案涵盖用于选择和控制单元的互连及周边结构。页方案则涉及实际 AI 计算中所用数据如何被组织成不同的单元和顺序。虽然这三个领域看似相互独立，但在实际的 A-CiM 操作中它们紧密相互依赖。
☑︎ 优化要点 1：单元——多级电流状态的精确控制
在 A-CiM 中，存储单元的作用不只是简单地存储 0 和 1。为了精确地存储和计算 AI 模型权重，每个单元必须可靠地表示多个电流状态。如果多级*能力不足，模拟计算的精度就会下降，最终降低 MAC 运算的效率。
传统 NAND 主要采用增量步进脉冲编程*来精确控制阈值电压*。ISPP 通过逐步增加编程电压来控制存储单元的阈值电压。然而，这种方法可能导致在相同读取栅极电压*下单元电流发生突变。这一特性并不适合模拟突触单元，因为后者需要多个电流水平被逐步且精确地区分。
对于 3D FeNAND，研究团队采用了一种方法，即在相同电压下增加脉冲数*，同时尽量减少随后电压的增量提升。随着脉冲数增加，阈值电压逐渐趋于饱和，而在相同读栅极电压下测得的单元电流呈明显的阶梯式增加。这种渐进式响应使 AI 计算能够实现多个模拟状态。
* 多电平（Multi-level）：一种让单个单元表示 0 和 1 二进制状态之外的多个电学状态的方法。这使单元能够存储更多信息或支持模拟计算
* 增量步进脉冲编程（ISPP）：一种通过逐步增加编程电压来调整存储单元阈值电压的方法
* 阈值电压（Vth）：电流开始流过存储单元时的电压。它随存储电荷或单元状态而变化，用于读取数据
* 读栅极电压（VG）：为读取存储单元状态而施加到栅极的电压。在相同读栅极电压下测量单元电流的变化，可以表明单元区分不同模拟状态的可靠性
* 脉冲数（PN）：为改变存储单元状态而施加的编程脉冲的数量。在本研究中，通过调整 PN 来区分多个单元电流状态
FeNAND 的优势在电流控制方式上也十分明显。传统的 CTN NAND 通过调整氮化物层中存储的电子数量来改变单元状态。相比之下，FeNAND 利用基于 HZO* 的铁电材料中的畴翻转*。这一特性使其能够在低电流区域实现精确的多电平操作。研究还在 300mm 晶圆规模上验证了低电流区域下单单元四电平操作以及稳定的数据保持能力。
* 畴翻转：铁电材料内部的极化方向随电场变化而改变的现象。在 FeNAND 中，畴翻转可用于控制电流状态
* 铪锆氧化物（HZO）：一种基于铪和锆氧化物的铁电材料，用于控制 FeNAND 中的单元状态
☑︎ 优化点 2：非单元部分——减少字线切换开销
第二个挑战存在于单元本身之外。在 NAND 架构中，字线是用于选择和控制存储单元的互连结构。在 A-CiM 的 MAC 操作中，被选中和未被选中的字线反复切换状态。这种切换会增加功耗和延迟。
字线电阻和电容被确定为 3D FeNAND 阵列中的关键非单元因素。较高的字线电阻和电容会减慢信号传输，并增加在选中与未选中状态之间切换所需的能量。因此，非单元优化的一个重要目标就是降低这两个因素，以减少切换开销。
分析首先考察了不同字线金属对性能的影响。与基准结构相比，使用低电阻金属可将吞吐量提升最高 16%，能效提升最高 3%。由于整体功耗受字线电容的影响大于字线电阻，因此能效的提升相对有限。
分析随后考虑在字线之间的氧化物中引入空气间隙*以降低寄生电容。引入空气间隙后，字线之间的寄生电容降低了约60%，吞吐量提升1.2倍，能效提升2倍。当字线电阻和电容联合优化时，吞吐量最多提升1.4倍，能效最多提升2.2倍。
非单元优化改善的是将单元中实现的模拟状态转换为实际计算的通路。即使单元操作非常精确，如果切换字线消耗过多的功率和时间，A-CiM 的优势也会减弱。然而，仅降低互连开销是不够的。延迟和切换操作的次数还取决于用于计算的数据在页内的排列方式。
* 空气间隙：在绝缘材料之间引入一层空气以降低寄生电容的结构，有助于减少互连之间的电气干扰和功耗
* 寄生电容：在字线等间距较近的互连之间产生的非预期电容。当电压施加到某条互连时，可能影响相邻互连，从而增加信号延迟和功耗
☑︎ 优化点3：页 – 优化计算顺序和数据放置
第三项挑战涉及页级别的计算。A-CiM 的吞吐量在很大程度上取决于一个页或阵列内能并行处理多少输入。页切换的次数也会影响吞吐量* 和能效（TOPS/W）*。即使能够存储大量数据，如果用于计算的值的组织方式低效，也会导致不必要的切换和 MAC 延迟增加。
第一项页级技术是页内流水线*。IPP 在单个页内高效组织神经网络*层，并在适当时复制层以增加计算并行度。IPP 还旨在同时减少 MAC 操作次数和字线切换事件。
仿真结果显示，与基准架构相比，IPP 将能效翻倍，吞吐量提升了9倍。这表明数据在页内的组织和处理方式——无论是顺序还是单位——都会直接影响 A-CiM 的性能。
第二项页级技术是页拆分*。将传统的 16KB 页拆分为四个 4KB 子页，使数据能够根据神经网络层的输入和输出大小更灵活地组织。与其将单个大页作为一个整体使用，不如将其拆分为更小的单元，让未使用的子页来容纳复制的层或其他神经网络层。这样，分配给工作负载的页数更少，从而降低切换能耗、延迟和 MAC 延迟。
* 每秒万亿次运算（TOPS）：一项吞吐量指标，表示每秒可执行的运算次数，以万亿次为单位
* 每瓦每秒万亿次运算（TOPS/W）：一项能效指标，表示每瓦功率可执行的运算次数，以万亿次为单位
* 页内流水线（IPP）：一种在单个页内优化神经网络层放置与计算顺序的方法，用于减少运算次数和字线切换事件
* 神经网络（NN）层：人工神经网络中的一个计算阶段。每一层接收输入，使用权重执行计算，并将结果传递给下一层
* 页拆分：一种将大页划分为多个更小子页的方法，以便根据神经网络层的输入和输出大小来使用它们
应用页拆分后，能效提升了1.2倍，吞吐量提升了1.7倍。然而，更小的页尺寸并不总是带来更好的结果。最优页尺寸因神经网络模型而异。如果页变得太小，神经网络层可能被分割成过多的片段，反而可能增加 MAC 延迟。
这些结果表明，页优化不仅仅是内存配置的问题，而是要让 AI 模型架构与内存操作相协调。单元方案精确地表示数值，非单元方案高效地选择并控制这些数值，而页方案则以高效的顺序协调用于计算的数据交付。A-CiM 的性能最终取决于这三个要素协同工作的有效程度。
A-CiM 的核心目标是减少反复搬运数据所消耗的时间和功耗。以国际机场的运作为类比，3D FeNAND 就像一个大型枢纽机场，能够处理大量的旅客和航班时刻。更大的机场可以容纳更多旅客，正如密度更高的内存可以存储更多数据——但更大的设施并不自动意味着更快的运作。
首先，必须准确识别旅客，并将其分配到通往各自目的地的合适登机口。这类似于单元优化，其中单个单元必须可靠地区分多个电流状态，以精确表示 AI 计算中使用的数值。这一步处理得越准确，后续流程就能进行得越顺畅。
接下来，必须设计跑道、滑行道和登机桥等运输路线，以实现高效移动。复杂的路线或瓶颈可能延误整个机场的运作。这对应于非单元优化，即减少用于选择和控制单元的字线及外围结构所带来的开销。让电流流经的路径更高效，有助于降低功耗和延迟。
最后，起飞和降落时刻也必须协调。即使在相同的机场基础设施下，组织不当的航班顺序和时间分配也会增加等待时间。同样，A-CiM 的性能取决于为计算安排数据的顺序和单位。最终，当单元、非单元和页方案被优化以协同工作时，基于 3D FeNAND 的 A-CiM 才能减轻数据搬运的负担并提高 AI 计算效率。
Q1. 我们应如何理解论文中报告的吞吐量提升约 10-20 倍、能效提升 4,000-5,000 倍的结果？
这些数字反映了 3D FeNAND 相比传统 2D 非易失性存储阵列的高密度优势——后者一直被广泛研究作为 A-CiM 的候选方案。在有限的芯片面积约束下，传统 2D 阵列的存储容量有限，因此需要反复重新加载权重，导致数据搬运和重写带来大量能耗。
相比之下，3D FeNAND 可以一次性存储更多权重并直接将其用于计算，从而减少了重新加载的需求。这既提高了吞吐量，又降低了能耗。在相同面积内以更少的功耗完成更多计算，是这项研究所展示的性能提升背后的关键因素。
Q2. 研究过程中遇到的最具挑战性的技术问题是什么？
最困难的地方在于，我们需要解决的问题并不局限于单一领域。提升基于 3D FeNAND 的 A-CiM 的性能，要求我们同时考虑单元（cell）、非单元（non-cell）和页（page）方案。由于这需要对铁电器件、NAND 架构和 AI 工作负载的综合理解，这是一项无法仅凭任何单一领域的专业知识来解决的结构性挑战。
克服这一挑战需要具有不同专业领域的研究者们协同合作。各领域的研究人员分享各自的优化结果，并将其他领域的见解融入到自己的工作中。这最终使我们能够将单元、非单元和页方案作为一个整体系统实现协同优化。
Q3. 这项研究对 NAND 技术的未来方向有何启示？
这项研究表明，NAND 有可能超越存储介质的角色，演进为一个计算平台。特别是，基于铁电材料的 FeNAND 展现出比传统 2D 非易失性存储阵列和 3D CTN NAND 更高的能效，支持了其作为低功耗、高效率 A-CiM 平台的潜力。
这一方法可以扩展到 AI 计算之外的其他以数据为中心的计算应用，包括存内搜索。从为大规模 AI 模型开发超高密度、低功耗存内计算平台的角度来看，这项研究为 NAND 技术的演进指明了一个新方向。
来源：SK hynix 内存技术 · news.skhynix.com