华为盘古气象大模型登Nature正刊：破解气象预测难题

入夏以来，在厄尔尼诺现象的影响下，全球各地的高温都打破多年来的记录。一时间，酷暑难耐。类似这样的极端天气也为天气预报带来前所未有的挑战。过去十年间，超级计算机极大地推动了数值天气预报（numerical weather prediction，NWP）方法的研究。传统的 NWP 方法主要使用偏微分方程（PDE）来描述大气状态之间的转换，然后使用数值模拟的方法进行求解。但这些方法通常很耗时，需要在具有数百个节点的超级计算机上花上几个小时来给未来 10 天做天气预报。而且 NWP 算法主要依赖参数化，这可能会带来误差。

为了解决这些问题，来自华为云的研究团队首次使用人工智能大模型——盘古气象大模型，来进行 24 小时的全球天气预报，它仅仅用了 1.4 秒就完成了预测，比目前的方法快了 1 万倍！

日前，相关研究以“Accurate medium-range global weather forecasting with 3D neural networks”为题，发表在《自然》正刊上。

用于天气预报的神经网络：从 2D 到 3D

深度学习的迅速发展为天气预报提供了新的途径。气象研究人员训练深度神经网络来找出某个特定时间点的天气数据和目标时间点的天气数据之间的关系。使用 GPU 的计算设备可以很快地完成任务。比如此前的 FourCastNet 只需要 7 秒就可以为 100 个目标做出 24 小时天气预报，比传统的 NWP 方法快了几个数量级。然而，FourCastNet 的准确性仍然不尽人意；其 5 天 Z500（500 hPa 位势高度）预测的均方根误差（RMSE）为 484.5，远远不如欧洲中期天气预报中心（ECMWF）的操作集成预报系统（IFS）报告的 333.7。

而就在两年前，华为云启动了一项研究计划，探索将人工智能应用于天气预报，发现现有的人工智能方法在准确性方面远远落后于数值预测，特别是在预测极端天气事件方面。研究人员找到了造成差距的两个主要原因：人工智能模型基于 2D 神经网络，难以处理 3D 天气数据，而且人工智能方法缺乏数值建模的数学约束，导致误差累积。

为了克服这些挑战，华为云开发了一种名为 3D Earth-Specific Transformer（3DEST）的 3D 模型，以处理复杂的 3D 天气数据。他们还提出了一种层次化时域聚合算法（hierarchical temporal aggregation algorithm），以最小化迭代误差。这就是盘古气象模型，该模型训练单独的人工智能系统，以预测每小时、每 3 小时、每 6 小时和每 24 小时的天气。盘古气象模型在所测试的全部天气变量中都比 IFS 的准确性更高。

具体来说，华为云团队将高度信息集成到一个新的维度中，以便深度神经网络的输入和输出可以在三个维度中体现。而后使用前述的 3DEST 架构，将与地球相关的先验知识注入到深度网络中。实验表明，通过将高度当作一个单独的维度，3D 模型能够捕捉不同压力水平下的大气状态之间的关系，因此相对于之前常用的 FourCastNet 等 2D 模型，准确性显著提高。这里还应用了层次化时域聚合算法，可以训练 AI 模型来预测更远时间点的天气。因此，在测试阶段，中期天气预报所需的迭代次数大大减少，累积预报误差也随之减小。对第五代 ECMWF 再分析（ERA5）数据的实验验证表明，盘古气象在确定性预测和极端天气预测方面表现优异，还比 IFS 快 1 万倍以上。3DEST 和 FourCastNet2 具有相同的计算成本但收敛速度更快。每个 3D 深度模型包含大约 6400 万个参数, 四个深度模型总共包含 2. 56 亿个参数，可以预测未来 7 天或更长时间的天气。

在深度网络中，输入的数据包括高空变量和地表变量，每个变量都有自己的维度。高空变量涉及 13 个压力水平，每个压力水平有 5 个变量，而地表变量有 4 个变量。研究团队采用补丁嵌入的方法将数据嵌入到 C 维的隐空间（latent space）中，给数据降维。随后他们使用具有 8 个编码器层和 8 个解码器层的编码器-解码器架构处理数据，使用补丁恢复将输出投影回原始空间。而模型里 3DEST 与普通的 Transformer 类似，使用窗口注意力机制以与地球的几何结构对齐，而后引入地球特定的位置偏差机制，以捕捉天气状况与地球坐标系统上的绝对位置之间的关系。

追踪热带气旋

为了训练这个模型，华为云团队使用了 1979-2021 年的气象数据，并在 2019 年的数据上进行验证，在 2018 年的数据上进行测试。盘古模型预测的空间分辨率为 0.25° × 0.25°，时间分辨率为 1 小时，覆盖 13 层垂直高度。在单个 GPU 上，该模型的推理成本是 1.4 秒。

盘古气象模型不仅能够生成强大的定量结果，而且还能够保留足够多的细节，以便研究一些极端天气事件，如追踪热带气旋。其算法通过查找平均海平面气压（MSLP）的局部最小值，在 2018 年成功地追踪了 88 个热带气旋，其中包括一些其它跟踪系统（如 ECMWF-HRES）都难以追踪的热带气旋。对于这 88 个热带气旋，盘古气象的跟踪结果比传统的 ECMWF-HRES 系统更准确。在追踪气旋眼的 3 天和 5 天平均位置误差这一项上，盘古气象分别报告为 120.29 km 和 195.65 km，明显小于 ECMWF-HRES 所报告的 162.28 km 和 272.10 km。预报的时间越提前，盘古气象的优势越明显。比如跟踪 2018 年西太平洋中最强的两个气旋康妮和玉兔。在 2018 年 10 月 23 日 12:00 UTC，盘古气象预测出了玉兔的正确路径（即前往菲律宾），而 ECMWF-HRES 则预测玉兔会大幅度转向东北方向，直到两天之后才预测出正确的路径。盘古气象的优异表现受到了各方肯定。中央气象局表示, 盘古气象准确预测了今年 5 月的台风“玛娃”的走向，提前五天预测出其将在台湾岛东部海域转向。而在第 19 届世界气象大会上, 欧洲气象局也表示该模型准确性极高, 可媲美 ECMWF 业务数值模型的预测能力。而《自然》杂志的审稿人更是高度评价，称这一模型使人们得以重新审视气象预报模型的未来。

模型的局限性和未来的应用

盘古大模型的表现展示了使用大型预训练模型进行各种下游应用的潜力。不过尽管在再分析数据上表现出很高的预报精度，这个算法还是存在一些局限性。首先，在研究中盘古气象是在再分析数据上进行训练和测试的，但实际的预报系统使用的是观测数据。数据来源之间存在差异，因此需要进一步研究该模型在各种应用中的表现。其次，华为云团队尚未考虑降水等其它天气变量，这可能导致当前模型缺乏某些能力，例如利用降水数据准确预测如龙卷风这样的小尺度极端天气现象。第三，基于人工智能的方法会产生更平滑的预报结果，这样更可能低估极端天气事件的严重性。本次研究针对的是一个特殊情况，即气旋跟踪，接下来团队还有很多工作要做。第四，使用具有不同前导时间的模型可能引入时间上的不一致性，这个问题值得进一步研究。

展望未来，人工智能方法和 NWP 方法都有改进的空间。在人工智能方面，可以通过增加更多垂直层次和/或大气变量，整合时间维度并训练四维深度网络，使用更深或更宽的网络，或仅延长训练周期来获得进一步的提高。所有这些方向都需要更强大的 GPU 集群，具有更大的内存和更高的浮点运算次数，这是当前人工智能的趋势。而对于 NWP，可以开发出后处理方法来缓解 NWP 模型的可预测偏差。未来将人工智能可以和 NWP 方法结合起来，带来更强大的性能。

声明：本文仅供科研分享，助力科学传播，不做盈利使用，如有侵权，请联系后台删除。