SK hynix 技术专栏：为什么数万颗 GPU 还要等待数据？硅光子与 CPO 如何构建“光的高速公路”

AI 不会等人。每个行业的根基都已在崩裂。这不是某一个行业的故事。制造业。金融业。医疗。数据中心。整个产业秩序正在围绕 AI 重建——而且就在此刻发生。了解 AI 已不再是竞争优势。你需要看透它。因此，我们的新闻编辑室将把 AI——以及驱动它的半导体——置于显微镜下。

在[Tech Note]中，汉阳大学 ERICA 校区半导体融合工学系的 Younghyun Kim 教授剖析了 AI 工厂中的数据瓶颈，并探讨了硅光子学和共封装光学（CPO）这两种有望克服这些瓶颈的下一代技术。

AI 半导体的竞争力不再仅由单个计算芯片的处理速度决定。整个 AI 工厂的性能取决于数据驻留在哪里、经由什么路径传输以及多快到达目的地。在 AI 时代，数据高速公路正从电信号转向光。

想象一个巨大的工业园区，里面坐落着数百家工厂，每家工厂都配备了能在眨眼之间生产出产品的最先进机器。但如果连接这些工厂的道路每个方向只有一条车道，会发生什么？载着原材料的卡车在仓库外排起长队，而成品却无法按时到达下一生产环节。工厂机器或许变快了，但这并不一定意味着生产速度会同步提升。这是因为整个工业园区的生产速度最终取决于其道路的通行能力。类似的情况正在当今被称为“AI 工厂”的大型 AI 数据中心中上演。

▲ 无论 AI 工厂拥有多少计算设备，如果数据传输通道太窄，GPU 都将不得不等待数据。

图形处理单元（GPU）擅长同时执行 AI 所需的海量计算。然而，在必要的数据到达之前，它们无法开始计算。它们必须从内存中检索训练数据和“权重”——即 AI 模型在训练过程中学到的数值。当多个 GPU 协同训练同一个模型时，它们还必须持续交换计算结果。随着 GPU 速度越来越快，周围内存和网络的数据传输能力正变得愈发重要。

迄今为止，服务器内部的半导体组件一直使用铜互连来连接。铜易于加工，并且在极短距离内（例如同一封装基板上的芯片之间）能够高效传输信号。挑战随着传输速度的提高和距离的增长而出现。电信号在铜线中传输时会衰减并相互干扰。需要中继器*和信号校正电路来恢复劣化的信号，这需要额外的功耗，进而产生更多热量并增加散热需求。

* 中继器：一种在传输过程中接收弱化信号、对其进行放大或再生并重新发送的设备。

▲ 铜在短距离内（例如半导体封装内部）效率很高。然而，随着传输速度和距离的增加，信号损耗、发热以及中继器的功耗也随之上升，使得通过单根光纤承载多个波长的光互连越来越具有优势。

为了降低信号损耗和功耗，利用光传输更多数据的光互连正受到关注。单根光纤可以同时承载多个波长的光。通过使用波分复用（WDM）*, ——将不同的数据流分配到不同的波长上——无需增加更多光纤即可提升传输容量。

* 波分复用（WDM）：一种通过将不同数据流分配到不同波长（即不同颜色的光）上，使其同时通过单根光纤传输的技术。

虽然光纤正日益受到重视，但这并不意味着铜会消失。通过铜进行的电气连接在芯片内部以及极短距离内仍然具有优势。光互连早已成为较长距离连接（例如数据中心机架之间和建筑物之间）的标准方案，如今正走向更短距离的应用。

关键不在于电与光的竞争，而在于分工。目标是构建能够更高效地传输更多信息的光高速公路，从铜互连面临越来越严重的信号损耗、功耗和发热的连接场景做起。

如果说光纤是高速公路，那么还需要相应的基础设施，将数据放上这条高速公路、引导其前往正确的目的地，并在另一端取回数据。硅光子学将这种基础设施带到一颗小芯片上。芯片内部是被称为光波导的微小通道，它利用波导与周围材料之间折射率的差异，通过全反射原理引导光的传输。与这些波导一起的还有采用半导体工艺制造的调制器和光电探测器。调制器根据电信号数据改变光的强度或其他属性，将信息编码到光上；而光电探测器则将接收到的光转换回电信号，从而取回信息。

▲ 硅光子学将通过光纤进入的光导入硅光子集成电路（PIC）内的波导中，由集成的环形谐振器、调制器和光电探测器等组件对光进行控制。在这颗小芯片内，电信号可以被编码到光上，而接收到的光也可以被转换回电信号以取回信息。

“硅”的意义不仅限于材料本身。半导体行业开发的微细加工和大规模量产技术同样可以应用于光器件。这使得在紧凑的面积内以高精度重复制造大量光通道，并将其与电子电路紧密集成成为可能。

然而，控制光与产生光是两个不同的挑战。硅并不擅长通过电流高效地产生光。因此，通信激光器使用磷化铟（InP）等化合物半导体。一种做法是将这些激光器置于硅光子芯片之外，由外部激光源（ELS）提供光。这样可以将激光器放置在远离产生大量热量的电子芯片的位置，而且其模块化、可更换的设计也简化了维护。

那么，这些光学芯片应该放置在距离处理数据的电子芯片多近的位置呢？针对这个布局问题，一个答案是共封装光学（CPO）。

数据中心交换机扮演着交通控制器的角色，将众多服务器之间交换的数据引导至其目的地。其前面板上排列着一排排光收发模块，用于在电信号与光信号之间进行转换。这些“可插拔”模块可以按需插入和拔出。这种设计便于更换单个故障模块，并且受益于长期积累的运维经验。然而，电信号仍然必须从作为交换机大脑的专用集成电路（ASIC）跨越电路板传输到前面板上的光学模块。随着交换机容量和端口速度的提升，这段看似很短的电传输路径正日益成为功耗和信号完整性方面的挑战。

共封装光学（CPO）将负责在电信号与光信号之间转换的核心组件——光引擎——直接放置在交换机 ASIC 旁边。两个组件被安置在同一封装基板上，该基板作为安装芯片并实现电气连接的共享平台。这就好比把一个物流终端从遥远的地方搬迁到工厂自己的场地。电信号需要传输的距离缩短了，而较长的传输路径则交由光纤承担。CPO 可以提高带宽密度——在有限的交换机面积内传输更多数据——同时还能降低原本用于补偿高速电信号损耗所消耗的功率。

▲ 在左侧的可插拔架构中，电信号从交换机 ASIC 传输到前面板的光学模块。在右侧的 CPO 架构中，中央的交换机 ASIC 与周围的光引擎被放置在同一封装基板上，显著缩短了电气连接的距离。

CPO 需要对光学器件以及驱动它们并处理其信号的电子电路进行协同设计。硅光子学的优势在于，它可以利用现有的半导体制造基础设施和先进封装技术，实现与电子芯片的紧密集成。这也支持了系统级技术协同优化（STCO），即一种从器件、制造工艺到封装和系统进行联合优化的方法。

然而，向芯片供给激光光以及精确连接光纤在技术上仍然具有挑战性。光学器件还必须与产生大量热量的 ASIC 一起可靠地工作。由于单个组件的缺陷可能影响整个封装，因此提高良率——即制成的产品中满足质量要求的比例——并设计出更容易检测和修复缺陷的架构也十分重要。

尽管存在技术挑战，AI 公司将目光转向 CPO 的原因十分明确：要充分释放 GPU 的算力，网络效率也必须同步提升。无论是将 GPU 紧密互联以组成一台大型计算机，还是跨多台服务器连接以扩展算力，GPU 数量的增加都会给连接它们的互连线路带来更大负担。为此，NVIDIA 和 Broadcom 等全球科技公司正在推出采用 CPO 技术的网络产品，加速其商业化进程。

证明该技术有效性的成果已经出现。在 2025 年欧洲光通信会议（ECOC）上，Meta 展示了 CPO 交换机系统的评估结果。测试中，光互连部分的功耗比同类可插拔架构低约 65%。长时间运行也证实了在特定测试条件下的连接稳定性*。

与 CPO 并行，业界还在开发其他方案，以保留传统架构的优势。线性可插拔光模块（LPO）保留了可拆卸光模块的设计，同时通过取消传统上用于补偿信号失真的数字信号处理器（DSP）来降低功耗。近封装光学（NPO）则是将光引擎放置在交换芯片附近，但不集成到同一封装内。

▲ LPO 保留可插拔光模块架构但取消模块内的 DSP，而 NPO 则将光引擎放置在交换芯片附近、但位于其封装之外。

CPO、LPO 和 NPO 并非技术发展的先后阶段，而是根据性能、能效、散热和维护需求选择的不同方案。可插拔架构的优势在于易于更换，但随着大规模 AI 系统对带宽和能效要求的提高，CPO 因将电气连接缩短到封装级别而变得愈发重要。

随着这些方案持续共存，CPO 有望首先在其节能优势和运行可靠性已在真实环境中得到验证的应用领域扩大采用。

高带宽内存（HBM）和 CPO 分别在系统的不同环节减少 GPU 等待数据的时间。HBM 将多个 DRAM 裸片堆叠并直接放置在 GPU 旁。在同一封装内，HBM 通过转接板（interposer）以短而宽的电气通路连接到 GPU*。 相比之下，CPO 则通过在靠近交换芯片的位置将电信号转换为光信号，提升连接多个 GPU 系统的网络数据传输效率。即使 HBM 在本地向 GPU 提供了充足的数据，如果 GPU 之间的通信成为瓶颈，整体性能也无法完全发挥。这就是内存与网络能力必须协同工作的原因。

* 转接板（Interposer）：一种中间基板，用于在同一封装内互连多个芯片（如 CPU、GPU 和内存）。

▲ HBM 缩短数据在 GPU 所在封装内的传输距离，而 CPO 则提升连接多个 GPU 系统的网络数据传输效率。

除了快速传输数据之外，高效利用分布在多个系统上的内存容量也很重要。当内存被单独分配给各个系统时，有的系统可能容量不足，而另一些系统却有闲置资源。解决这种不平衡的方法之一是内存池化，即将内存资源整合为一个共享池，多个处理器可以按需访问。Compute Express Link (CXL) 是一种支持内存扩展和内存池化的互连标准。在这种背景下，光的作用可能不仅限于 GPU 与 GPU 之间的通信，还可以延伸到处理器访问共享内存池的通道。在这些连接中使用基于硅光子的光互连，可以实现更长的传输距离和更大的带宽，同时还有可能降低功耗。

不过，这并不意味着直接位于 GPU 旁边的 HBM 也必须使用光连接。混合架构是可行的：需要快速访问的数据可以存储在通过短而宽的电气通路连接的 HBM 中，而需要额外容量或共享访问的数据则可以放在光连接的内存池中。然而，光互连并不能让远程内存以与 HBM 相同的速度被访问。因此，必须评估不同类型的数据应存放在何处、何时迁移，以及这些迁移所涉及的延迟和功耗。

展望未来，AI 半导体的竞争力不仅取决于单个 GPU 的原始计算速度，还取决于 GPU、内存和网络能够以多紧密的方式与实现它们所需的光学、封装和系统技术进行协同设计与集成。电气连接和光连接将共存，各自服务于其优势最能发挥的应用场景。

归根结底，最强大的 AI 工厂不是拥有最快单个 GPU 的那一个，而是让众多 GPU 和内存设备能够协同工作、互不等待的那一个。这正是半导体需要光的原因。

免责声明： 本文表达的观点仅代表作者本人，不一定反映 SK hynix 的官方立场。