高带宽存储器（HBM, High Bandwidth Memory）是一种可以实现高带宽的高附加值DRAM产品，适用于超级计算机、AI加速器等对性能要求较高的计算系统。随着计算技术的发展，机器学习的应用日渐广泛，而机器学习的基础是自20世纪80年代以来一直作为研究热点的神经网络模型。作为速度最快的DRAM产品，HBM在克服计算技术的局限性方面发挥着关键的作用。
HBM的高带宽离不开各种基础技术和先进设计工艺的支持。由于HBM是在3D结构中将一个逻辑die与4-16个DRAM die堆叠在一起，因此开发过程极为复杂。鉴于技术上的复杂性，HBM是公认最能够展示厂商技术实力的旗舰产品。
从2015年推出HBM1到2021年10月开发业界第一款HBM3 DRAM，SK海力士一直是HBM行业的领军企业。SK海力士的HBM产品大获成功的首要因素是产品特性，具体而言，产品设计在保证市场竞争力方面发挥了重要作用。SK海力士HBM设计团队负责将产品规格落实到实际电路中，同时开发配套的产品架构和设计技术，以确保准确实现产品功能、高性能和低功耗特性。得益于对产品的全面了解，HBM设计团队还在未来产品规划及规格定义方面发挥着至关重要的作用。此外，HBM设计团队会聆听客户反馈，并围绕问题展开分析。
产品特性通常分为三类：性能、功耗和面积，即PPA (Power, Performance, Area)。本文着重探讨如何通过卓越的设计工艺来提高产品性能或创造速度优势。如前所述，HBM支持高带宽，而带宽指的是在特定单位时间内可以传输的数据量。由于具有高带宽的特性，HBM主要应用于高性能计算场景。
通过机器学习解决偏移问题
过去八年来，HBM产品带宽增加了七倍，目前已接近1TB/秒的里程碑节点。鉴于同期内其他产品的带宽仅增加两到三倍，我们有理由将HBM产品的快速发展归功于存储器制造商之间激烈的竞争。
<图1： ISSCC上发表的HBM相关文章的趋势>
存储器带宽指单位时间内可以传输的数据量，要想增加带宽，最简单的方法是增加数据传输线路的数量。事实上，每个HBM由多达1024个数据引脚组成，HBM内部的数据传输路径随着每一代产品的发展而显著增长，如图2所示。
<图2：各代HBM产品的数据传输路径配置>
但是，芯片的尺寸限制了传输路径的增加。因为增加的不仅是数据传输线路，还有使用每条传输线路的传输/接收电路。此外，随着传输线路的增加，等量匹配每条传输线路长度和配置的难度加大，使得运行速度无法提升。
传输线路之间的时序差异就是我们所说的偏移。为了减少偏移，每条传输线路的总长度和电子元件应采用相似的设计。然而，HBM有数千条内部传输线路，逐一匹配几乎是不可能的任务。为此，SK海力士引入了机器学习。强化学习（Reinforcement learning）技术可以在每条传输线路上附加多余的传输路径，无需工程师手动作业，即可精确地优化偏移问题，由此减少整个传输路径间的偏移。
<图3：基于机器学习技术的信号线路优化＞
图3显示了这一优化过程。一些90度弯曲的线路具有不同的特性，因此必须通过增加红色附加线的方式来减少偏移（Skew）。与初始的随机解决方案（如图3左侧所示）相比，强化学习技术的使用可以带来最优结果（如右图所示）。通过这种方法，偏移从100皮秒（100 ps）缩短至70皮秒（70 ps），降幅达30%。
通过PVT感知时序优化来提高速度
即使偏移问题得到优化，各种信号之间相对时序关系的匹配仍然是一个难题。例如，每32个数据信号对应一个时钟信号（clock signal)*，如果需要由时钟信号来控制数据信号，那么时钟信号必须采用与数据信号不同的电路。电路配置的差异也会导致关系的变化，具体取决于工艺、电压、温度（PVT）的变化。无论何种情况下，时钟都必须位于数据的特定时序部分。但是，随着运行速度的提升，时序部分会减少，由此增加了设计复杂度。
*_时钟信号（clock signal）：在同步数字电路中，时钟信号在高位和低位状态之间振荡，并且像节拍器一样用于协调数字电路的动作。
为了解决这一问题，SK海力士采用PVT感知时序优化技术来检测HBM3中的PVT变化，以找到最佳时序。这项技术可以确定单元电路的哪一个分级与精确循环的外部时钟输入具有相同的周期，并基于该数据自动优化主时序裕量电路（timing margin circuit） 中的电路配置。如图4所示，随着PVT的变化，时钟时序通常会将时钟移动到一侧，而PVT感知时序优化技术可以在任何情况下让时钟始终保持在中心位置，以此来提高速度。
<图4：PVT感知时序优化技术＞
为了增加作为HBM关键性能指标的带宽，SK海力士正在开发一系列设计技术，包括数据路径优化、基于机器学习的信号线路优化、PVT感知时序优化技术以及全新工艺技术等。基础die与典型DRAM工艺的不同之处在于基础die没有单元，利用这一特性，我们正在开发HBM优化工艺技术以及用于3D堆栈的先进封装技术。
通过上述一系列努力，SK海力士实现了HBM的快速发展。然而，为了满足客户不断增加的期望，打破现有框架进行新技术开发势在必行。此外，SK海力士还在与HBM生态系统中的参与者（客户、代工厂和IP公司等）通力合作，以提升生态系统等级。商业模式的转变同样是大势所趋。作为HBM领军企业，SK海力士将致力于在计算技术领域不断取得进步，全力实现HBM的长期发展。
*朴明宰：SK海力士HBM设计团队project leader