芯片功率奔向1000瓦，冷却成为头号问题

手头的问题并不是一个新问题：晶体管功耗的缩小速度几乎没有晶体管尺寸那么快。由于芯片制造商不会放弃性能（并且无法为客户提供半年增长），因此在 HPC 空间中，每个晶体管的功率正在迅速增长。另一个问题是，chiplet正在为构建具有比传统标线限制更多硅的芯片铺平道路，这对性能和延迟有好处，但在冷却方面更成问题。

支持这种硅和功率增长的是 台积电 CoWoS 和 InFO等现代技术，它们允许芯片制造商构建集成的多芯片系统级封装 (SiP)，其硅量是台积电的两倍。受到标线（reticle ）限制。到 2024 年，台积电 CoWoS 封装技术的进步将使构建更大的多芯片 SiP 成为可能，台积电预计将超过四个标线大小的芯片缝合在一起，这将实现巨大的复杂性（每个 SiP 有可能超过 3000 亿个晶体管）台积电及其合作伙伴正在关注）和性能，但自然是以巨大的功耗和发热为代价的。

NVIDIA 的 H100 加速器模块等旗舰产品已经需要超过 700W 的功率才能实现峰值性能。因此，在单个产品上使用多个 GH100 大小的chiplet的前景令人大跌眼镜 - 以及功率预算。台积电预计，几年后将出现功耗约为 1000W 甚至更高的多芯片 SiP，从而带来冷却挑战。

在 700W 时，H100 已经需要液冷；英特尔的基于chiplet的 Ponte Vecchio 和 AMD 的 Instinct MI250X 的故事大致相同。但即使是传统的液体冷却也有其局限性。当芯片累计达到 1 kW 时，台积电设想数据中心将需要为这种极端的 AI 和 HPC 处理器使用浸入式液体冷却系统。反过来，浸入式液体冷却将需要重新构建数据中心本身，这将是设计上的重大变化，也是连续性方面的重大挑战。

撇开短期挑战不谈，一旦数据中心设置为浸入式液体冷却，它们将为更热的芯片做好准备。液浸式冷却在处理大型冷却负载方面具有很大潜力，这也是英特尔大力投资这项技术以使其更加主流化的原因之一。

除了浸没式液体冷却，还有另一种技术可以用来冷却超热芯片——片上水冷。去年，台积电透露它已经尝试过片上水冷，并表示甚至可以使用这种技术冷却 2.6 kW 的 SiP。但当然，片上水冷本身就是一项极其昂贵的技术，它将把那些极端的 AI 和 HPC 解决方案的成本推到前所未有的水平。

尽管如此，虽然未来不是一成不变的，但似乎它已经用硅铸造了。台积电的芯片制造客户有客户愿意为这些超高性能解决方案（想想超大规模云数据中心的运营商）支付高昂的费用，即使这需要高成本和技术复杂性。让事情回到我们开始的地方，这就是台积电首先开发 CoWoS 和 InFO 封装工艺的原因——因为有客户准备好并渴望通过chiplet技术打破标线限制。今天，我们已经在 Cerebras 的大型晶圆级引擎处理器等产品中看到了其中的一些，并且通过大型小芯片，台积电正准备让更广泛的客户群更容易获得更小的（但仍然是标线断裂）设计。

对性能、封装和冷却的这种极端要求不仅将半导体、服务器和冷却系统的生产商推向了极限，而且还需要对云数据中心进行修改。如果用于 AI 和 HPC 工作负载的大规模 SiP 确实变得普遍，那么未来几年云数据中心将完全不同。