37.7°C热晕了！剑桥大学AI超算瘫痪，350个科研项目集体停摆

最近欧洲人疯抢中国空调的消息相当火热，但有没有一种可能：

最需要空调的，是AI超算（doge）。

远在英国，这几天就发生了这样一件事：

英国最强AI超算之一的Dawn，在30多度高温下，直接瘫了整整一周。

这台坐落在剑桥大学的超算，标签相当豪华：

英国政府3亿英镑国家AI算力计划的核心组成部分，1024块Intel GPU，256台液冷服务器，已经支撑了超过350个科研项目。

今年1月，刚拿到3600万英镑的扩容升级，预计性能将提升6倍。

然后6月底，一波热浪来了，它就歇菜了。

更魔幻的是，这台超算上正在跑的研究，包括气候变化模拟。

啊这？？用来预测全球变暖的机器，被全球变暖打败了。

37.7°C，一个国家级超算经历的「至暗时刻」

事情是这样的。

今年6月，英国遭遇了有记录以来最猛的六月热浪。

6月26日，诺福克地区的林伍德镇热到了37.7°C，打破了1957年和1976年保持的35.6°C六月纪录。

英国气象局罕见地发布了连续三天的红色极端高温警告。

1000多所学校停课，铁路信号因高温故障，公路路面开始融化。

然后到6月27日那天，随着当日热浪峰值降临，Dawn超算所在的剑桥西区数据中心冷却系统顶不住了。

（P.S. 林伍德和剑桥都在英格兰东部，相距大约103公里）

Dawn，就此停摆。

△Dawn图片

事件发生后，剑桥大学发言人向外界表示：

Dawn遭遇了热天气期间的技术问题，冷却能力已完全恢复，预计访问将于7月6日重新开放。

没说具体原因，但情况就是：

从6月27日到7月6日，Dawn整整「冷却」了一周多。

对于一台每小时都在烧钱、每一秒都在推进科研进度的超算来说，这一周的停摆着实可怖。

这不，被伤的最深的已经出炉了。

剑桥大学Vendruscolo教授的团队，正在用Dawn做帕金森新药分子筛查。

Dawn的机器学习能力可以在几天之内筛查数十亿个分子，寻找能与帕金森相关蛋白聚集体结合的化合物。

如果用传统方法？半年起步，花费数百万英镑，而且只能覆盖Dawn几小时就能扫完的一小部分。

停机一周，意味着这条救命的流水线直接停转。

牛津大学的Lennard Lee，英国癌症疫苗AI与超算项目的负责人，他的团队拿到了Dawn 10000个GPU小时的算力配额，用AI加速个性化癌症疫苗的靶点发现。

Lee此前说过一句话：

以前需要几年才能完成的发现，现在只需要几周。

虽然事后Lee表示没有数据丢失，也不需要重做工作，但他话语中的庆幸，本身就说明了问题的严重性。

此外，英国南极调查局用Dawn训练的IceNet海冰预测模型暂停了，剑桥博士生Bill McGough用Dawn训练的AI肾癌筛查项目也停了……Dawn上面跑的350多个项目，几乎无一幸免。

而制造这一切的，不过是37.7°C。

好，「凶手」现在已经抓到了，那最后谁应该来具体负责呢？

转了一圈，这锅，好像没人想接。

Dawn的冷却系统由法国Legrand集团旗下的USystems供应。事后，USystems发了一份声明：

我们的设备在整个事件中完全按照设计规格运行，表现正常。

翻译一下：散热崩了，但不赖我们，我们的设备本来就不是按这个温度设计的。

那是设计标准太保守，还是气候变化太快？

答案可能是：都是。

英国六月的历史极端温度只有35.6°C，Dawn的冷却系统大概率就是按这个量级设计的。

37.7°C，超标了。

而且这个「超标」来得毫无预警，因为上一次达到这个纪录，还是在接近50年前。

另外Dawn也不是唯一的受害者。

同一周，英国朴次茅斯的Queen Alexandra医院冷却机组故障，宣布紧急事件。

手术室停了，心导管室停了，影像科停了。医院告诉患者：

请自带大量饮用水，因为医院非常热。

诺福克与诺里奇大学医院（简称NNUH）更惨：

所有MRI扫描仪的冷却系统因高温高湿全部失灵，至少254个门诊被取消。

所以，从某种程度上而言：

不是超算脆弱，是英国的整个温控基础设施，都没为这种天气做好准备。

30多度怎么就能热瘫超算？

Dawn被热瘫这件事，如果放在更长的时间线上看，一点也不意外。

2022年7月，英国遭遇了当时的史上最热天（40.3°C）。

Google伦敦数据中心的冷却系统「多个冗余系统同时失效」，被迫关机保护硬件，Google Cloud伦敦区域服务中断超过18小时才完全恢复。

△图源：Google Cloud官网

Oracle伦敦南区数据中心同天瘫痪，Oracle的声明用了一个很有意思的词：「非季节性高温」。

2022到2026，4年过去了，类似事件再次上演。

我就想问了，这个问题就这么难，难到不可提前预防吗？

实际上，30多度搞瘫一台超算，是有点说法在身上的，其中最难突破的瓶颈就是散热。

尤其对欧洲地区来说，设备普遍采用的是自然冷却，这种方式天然受限于室外自然温度。

怎么理解？

所有散热系统，不管多先进，最终都要把热量倒给室外空气，室外空气温度是整条链的终极瓶颈。

这条链路展开后是这样的：

芯片把热量传给散热器，散热器传给冷却液或空气，冷却液传给冷却塔，冷却塔传给大气。

大气是最后一个接盘侠。

所以当大气自己都37°C了，它就开始接不住了。

具体来说，当室外温度从20°C飙到37°C，冷却塔和干冷器的散热效率可能骤降40%到50%。

你问咋不开空调？因为压缩机在高温下效率下降、电流升高，容易过热跳闸。

Oracle 2022年的事故报告原话就是：两台冷却机组在被要求超出设计极限运行时发生了故障。

Dawn这次的情况，合理推测可能也类似。

它用的Dell PowerEdge XE9640服务器配备了直接液冷系统，这是比传统风冷先进得多的散热方案。

冷却液直接贴着芯片表面流过，带走热量的效率远高于吹空气。

但还是那句话，液冷解决的是机架内部的效率。热量被冷却液带走之后，仍要通过冷却分配单元、设施冷水回路、冷却塔，一路传递到室外大气。最后一环，还是受制于室外温度。

而冷却系统一旦停摆，后续还会导致一系列连锁反应。

研究数据显示，冷却系统一旦停机，5分钟内服务器入口温度就能从22°C飙升到35°C以上。

遇到这种情况，芯片会启动自保：

先降频（thermal throttling），主动降低运行速度减少发热，性能暴跌；如果温度继续涨，超过安全阈值，就会强制关机。

运营商这时只有两个选择：

• 让设备自己断电，可能损坏数据；
• 主动有序关机，保护硬件但业务停摆。

Google、Oracle、剑桥Dawn，都选了后者。

AI越强，越怕热

还有更让人担心的。

随着AI数据中心不断「膨胀」，温度对AI的影响可能会越来越显著。

前几天在小破站看小Lin实地探访华为数据中心，有个对比让人印象深刻：

传统数据中心一个机架的功率密度大约5到10千瓦，但AI训练机架已经到了30到50千瓦，Nvidia最新的GB200 NVL72机架更是达到了120到132千瓦（下一代Rubin可能到600千瓦）。

什么概念？一个AI机架100千瓦的发热量，相当于在一个电话亭大小的空间里同时开50台电暖器。

想象一下冬天用的小太阳，再把它们全部塞进一个机柜里，这就是今天AI算力基础设施面对的散热压力。

△图源：B站up主@小Lin说

更麻烦的是，GPU本身正在变得越来越「热」。

2017年的Nvidia V100大约300瓦，2023年的H100跳到700瓦，2024年的B200达到1000瓦，2025到2026年的B300和AMD MI355X直接拉到1400瓦。

七年时间，单芯片发热翻了3到5倍。

所以，不管是从数量还是单个芯片来讲，随着AI变强，它就越怕热、越需要散热。

至此，我们就能发现两条正在对撞的曲线：

芯片在指数级变热，地球也在加速变热。

事情，开始变得更加棘手了。

Google早在2011年就跑去芬兰建数据中心，Meta去了瑞典北部，就是为了用寒冷气候做天然散热。

马斯克更是想到了要去太空建AI数据中心。

但英国政府今年1月刚给Dawn砸了3600万英镑扩容，还在规划爱丁堡的新国家超算。

这些设施的散热设计，是按上一个时代的英国夏天算的，还是按正在到来的新常态？谁也说不好。

但有一件事是确定的：

用来预测气候变化的超算，被气候变化热停了。

这已经不是一个段子，这是AI时代基础设施面临的真实课题。

参考链接：

[1]https://www.thetimes.com/uk/science/article/cambridge-ai-supercomputer-heatwave-shutdown-ns7rcmkgs

[2]https://www.datacenterdynamics.com/en/news/data-center-housing-uks-dawn-supercomputer-suffers-heatwave-related-outage-report/

[3]https://x.com/cashandcarrots/status/2074016783812505762

文章来自于微信公众号 “量子位”，作者 “量子位”