💡”内存墙”：光学互连在 GPU-HBM 封装中兴起
🔍为解决 AI 半导体长期面临的 “内存墙” 挑战，国内外内存与封装行业正在评估一种将 GPU 与高带宽内存（HBM）解开并分别封装的方案。
🔬其核心思路是将原本紧贴 GPU 安装的 HBM 移开一定距离，用光（光学）来弥合间距，从而能够安装比现在多出数倍的 HBM。
📅22 日，一家国内主要内存厂商的研究人员表示：”我们目前在扩展 HBM 带宽和容量方面遇到困难，因此正在与客户讨论通过光学互连突破 GPU 的 shoreline 限制并安装更多 HBM 的方案。” shoreline 指芯片周边的长度。
💻在当今的 AI 计算环境中，拖累计算效率的关键因素是内存芯片的数据传输速度。GPU 性能逐代突飞猛进，但内存存储和供给数据的速度未能跟上，形成了结构性的性能障碍，即内存墙。HBM 凭借其宽阔的数据通路暂时缓解了燃眉之急，但批评者持续指出，其带宽和传输速度仍不足以应对 AI 计算的爆炸式增长。
📈迄今为止，行业一直专注于将 HBM 堆叠得越来越高，以在有限面积内增加内存容量和带宽。但随着堆叠层数从 12 层、16 层向 20 层及以上攀升，工艺难度呈指数级上升。该技术已触及物理极限，包括越来越难以满足固定的高度规格。垂直堆叠已到达拐点，以至于 JEDEC 标准组织已放宽了其 HBM 高度规格。
⚠️更大的问题是，如果无法提高堆叠层数，替代方案是在 GPU 周围水平方向增加更多 HBM，但这同样不可能。在当前的 2.5D 封装结构中，GPU 和 HBM 紧密地安装在同一基板上。在这种结构下，可放置的 HBM 数量严格受限于 GPU 芯片周边的有限长度，即其 shoreline。即使想增加更多 HBM，物理上也没有空间放置，使行业陷入结构性僵局。
🔧目前半导体行业正在兴起的替代方案是将 GPU 与 HBM 分离并独立封装。它颠覆了传统芯片设计原则，即组件必须紧靠在一起以最小化数据传输时间。该方案不再让两块芯片相邻，而是将它们拉开距离，并用速度极快的光信号来克服增加的物理距离。
🚀将 HBM 放置在板上离 GPU 稍远的位置，使设计摆脱了 GPU 的 shoreline 约束。空间限制解除后，无需将堆叠高度推向极限，就能在板上横向铺开并装入比现在多出数倍的 HBM。这意味着 AI 加速器系统的总内存容量和数据带宽将大幅扩展，达到当前系统无法比拟的规模。
💬”讨论将 HBM 置于 GPU 下方”…… 外形规格可能改变
📐行业目前正在就 HBM 在 GPU 板上的确切放置位置提出一系列架构设计方案。
👨💻上述内存研究人员表示：”正在讨论的方案范围很广，从广泛利用 GPU 紧邻周围的空间，到将 HBM 隔离在 GPU 板下方。” 他补充说：”在后一种情况下，即将其隔离在 GPU 板下方，主板必须纵向延伸，因此我们甚至正在与 GPU 制造商讨论整体外形规格的改变。” 具体来说，HBM 可能从几厘米外环绕 GPU，也可能在板中央创建一个独立的 HBM 区域。
🤝他说：”我们在讨论最佳布局时保持所有可能性开放。目前还没有任何内容被确认为官方路线图，但作为面向下一代 AI 加速器的预研工作的一部分，我们正在与合作伙伴进行讨论。”
👀外包半导体封装测试（OSAT）行业也在密切关注这一趋势。一家全球 OSAT 公司的高管表示：”光学互连是明确的轨迹。唯一的问题是时机。” 他预测：”机架到机架、服务器到服务器的连接将首先采用光学，然后板内的芯片到芯片连接也会跟进。” 他补充说：”较大的单元将首先通过光连接，但光学研究进展非常快，这可能不会太遥远。”
🔬从技术上讲，连接 GPU 和 HBM 的光学互连技术与数据中心内连接服务器到服务器的技术共享相同的底层原理。区别在于，将曾用于大型设备间通信的光学转换技术缩小到单板和芯片组的微观尺度，存在很高的技术壁垒。
👨💻一家国内封装光学（CPO）组件开发商的高管解释说：”随着 HBM 堆叠高度接近极限，行业正在讨论横向铺开内存，以最大化物理上可安装的数量。” 他补充说：”其原理与常规数据中心光学互连相同，但必须在有限板内空间运行的 HBM 光学链路要求光学元件小型化到更小的尺寸和更高的集成密度，因此技术难度更大。”