气象大模型本地部署实战：从ERA5数据预处理到滚动推理

简介面向气象科研与AI工程人群的本地部署指引包围绕Pangu、Fuxi、Fengwu、GraphCast、FourCastNet五款主流气象大模型梳理从虚拟环境创建、依赖库安装到预训练权重下载与输入数据接入的完整部署路线并附Ubuntu 18.04Anaconda 3CUDA 11.8libcudnn 8测试环境下的常见GPU调用失败、版本不匹配等排错思路。压缩包共2个文件以.inscode交互式代码文件和index.html说明文档为主整体仅5KB轻量便携便于随时查阅关键流程。针对Fengwu等需手动安装的模型包内补充了下载与配置要点同时涵盖通过CDS获取ERA5数据并驱动模型完成实际预报的接入方法兼顾部署验证与业务落地。已有137人学习使用适合正在搭建气象AI环境或准备本地复现大模型预报流程的研究人员。1. 本地部署气象大模型不是 ollama 一把梭而是数据与权重的接力赛气象大模型这几年被反复提起但“本地部署”这个词对气象模型来说和部署一个大语言模型完全是两码事。你没法像 ollama 拉一个 deepseek 那样拉下来就能聊天气象大模型的输入是一堆带气压层和经纬度信息的 NETCDF 数据输出也是一堆网格场。它的代码仓库里通常只有模型结构和推理脚本真正麻烦的是把 ERA5 再分析数据裁成模型要的样子再按训练时的标准化参数去处理。如果你手里有 8G 显存以上的 GPU又有 Python 和 xarray 的基础想在自己机器上把盘古气象这类模型的预测跑起来本文就顺着这条路给你拆开。适合两类人一是做气象业务预报、想拿 AI 模型做对照的从业者二是做科研、需要本地反复调参跑实验的学生。不适合零基础纯小白气象大模型的本地部署没有一键脚本坑基本都在数据格式和变量顺序上。2. 搭建部署环境conda 建 Python 3.10 环境并准备好权重目录2.1 硬件与推理框架显存 8G 起步你的机器到底行不行气象大模型不像大语言模型那样吃显存多数模型推理时用的是图神经网络或 transformer单次推理的输入是几十个变量的二维网格。以 0.25 度分辨率、全球 721×1440 的网格为例一个时间步的数据量在 50MB 左右显存占用通常控制在 4G 到 8G 之间。我一般建议起步用 RTX 3060 12G 或 RTX 4070 8G显存不够就用 1.4 度分辨率或者把区域裁切小一点而不是硬上大显存。推理框架优先选 PyTorch其次是 PaddlePaddle 或 MindSpore。气象大模型权重往往依赖某个特定框架版本你拿到项目代码后先看requirements.txt里的版本约束不要上来就装最新版 PyTorch。常见做法是先把 conda 环境建好再根据 README 提到的版本手动安装对应 wheel 包。使用 conda 创建环境时我习惯把 Python 版本锁在 3.10 而不是 3.12因为很多科学计算库在 3.12 上还没有预编译包装 netCDF4 和 cartopy 容易踩坑。conda create -n wxpython python3.10 -y conda activate wxpython pip install torch2.1.2 --index-url https://download.pytorch.org/whl/cu118 pip install xarray netCDF4 h5netcdf dask distributed pip install numpy scipy matplotlib cartopy pandas tqdm上面这个环境的逻辑是先装 PyTorch再装气象数据处理常用的 xarray 和 netCDF4最后装可视化的 cartopy。--index-url指定 cu118 是为了让 torch 带上 CUDA 11.8 的编译版本如果你机器上是 CUDA 12改成 cu121 或 cu124 就行。装完之后可以用python -c import torch; print(torch.cuda.is_available())验证 GPU 是否可用返回 True 再继续别急着下载权重环境问题回头查起来很闹心。2.2 克隆项目代码仓库里通常会缺什么你得心里有数拿到了项目代码第一件事不是跑是先把目录结构摸清楚。气象大模型的项目代码通常包含这几个部分模型定义文件model.py或pangu_model.py、推理脚本inference.py或predict.py、数据预处理工具data_utils.py以及存放权重的checkpoints目录。这个目录经常是空的需要你自己下载官方权重放进去。我习惯按下面的目录结构组织本地工程这样后续调试和换模型都比较方便wx-project/ ├── configs/ # 配置文件 │ └── pangu_6h.yaml ├── weights/ # 模型权重 │ ├── pangu_weather_6h.pth │ └── pangu_weather_24h.pth ├── data/ # 输入数据 │ ├── era5/ │ └── output/ ├── src/ │ ├── model.py │ ├── inference.py │ └── preprocess.py └── scripts/ └── run_prediction.sh权重下载是本地部署里最费时间的环节气象模型的权重动辄几百 MB 到几个 G下载源在境外的话断流很常见。我一般在weights目录下用wget -c断点续传下载完看一眼文件大小和 README 里写的是否一致不要只看文件名就对上了。有些权重文件是打包成压缩包的解压之后要检查里面是不是套了一层目录很多脚本默认权重在weights/根目录套层目录会直接报file not found。2.3 权重文件格式pth 还是 ckpt加载方式完全不同拿到权重文件后先看一眼扩展名和文件头。.pth是 PyTorch 的torch.save输出直接torch.load就行.ckpt可能是 PyTorch Lightning 的 checkpoint里面除了state_dict还包了一层超参数和优化器状态加载时要取checkpoint[state_dict]。还有一部分气象模型权重是.npz格式那就不是给 PyTorch 用的得用 numpy 加载后手动塞进模型参数。我踩过最狠的一次是权重文件是.pb格式那是 TensorFlow 的冻结图PyTorch 代码根本加载不了。所以拿到项目代码后先确认 README 里写的推理框架和权重格式是不是一致不一致先别硬跑回去找对应框架的版本。判断权重能不能加载不需要跑完整推理用一段很小的代码就能验证import torch from src.model import PanguModel model PanguModel() ckpt torch.load(weights/pangu_weather_6h.pth, map_locationcpu) if state_dict in ckpt: state_dict ckpt[state_dict] else: state_dict ckpt model.load_state_dict(state_dict) print(模型权重加载成功参数量:, sum(p.numel() for p in model.parameters()))这段代码的作用是在推理之前先做一次权重加载的冒烟测试。map_locationcpu先把权重载到内存里避免 GPU 显存不足时报奇怪的错误。如果load_state_dict报Missing keys或Unexpected keys多半是权重和模型结构版本不匹配去 GitHub 的 Release 页面找对应 tag 的代码再试。3. 准备 ERA5 输入变量顺序与标准化的两张底牌3.1 ERA5 再分析数据从哪来下载前你需要的变量清单本地部署气象大模型的输入数据绝大多数用的是 ECMWF 的 ERA5 再分析资料。ERA5 数据可以在 ECMWF 的 CDS 平台申请下载也可以用气象科研圈子里常用的镜像源。数据下载慢是常态我建议一次只下载一个变量不要一次性把一个月的全部变量拉下来容易断流。不同气象大模型对输入变量的定义不一样这是本地部署中最大的分水岭。以常见的气象大模型为例输入通常分两层地表变量和气压层变量。地表变量一般有 5 个10 米纬向风 u10、10 米经向风 v10、2 米温度 t2m、地表气压 sp、海平面气压 mslp。气压层变量一般有 13 层每层包含 5 个变量位势高度 z、温度 t、纬向风 u、经向风 v、比湿 q。气压层常见取值是 1000、925、850、700、600、500、400、300、250、200、150、100、50 hPa。下载前先写好变量清单直接对着一份数据文件确认字段名。ERA5 的 GRIB 或 NETCDF 文件里字段名有时是u10有时是10u必须先看一眼再写代码。我用下面的 Python 脚本检查下载到的数据文件把变量名和维度结构打印出来确认没问题再继续。import xarray as xr ds xr.open_dataset(data/era5/20230101_00.nc) print(变量列表:, list(ds.data_vars.keys())) print(维度结构:, dict(ds.sizes)) print(时间维度:, ds.time.values[:3])这个脚本的输出能让你一眼看出两个问题一是变量名是不是代码里期望的写法二是经度和纬度的顺序是不是标准的。很多模型内部假设输入是(lat, lon)顺序如果下载的文件是(lon, lat)后面推理出来的全场都会错位。3.2 标准化所有模型在发布权重前都藏了一张底牌气象大模型在训练时通常会把每个变量减去均值再除以标准差这个统计量来自训练数据集。推理时你拿到的原始 ERA5 数据一定要做同样的标准化操作否则模型输出的就是一个乱码场。多数气象大模型项目源码里会带一个mean和std的配置文件有的直接写成 numpy 文件有的放在代码里的字典中。先找到这个文件再看它的变量顺序。有个很常见的坑配置文件里的变量顺序是[u10, v10, t2m, sp, mslp, z, t, u, v, q]这样排的你喂数据的时候就必须按这个顺序把变量拼起来不能自己按字母序重排。变量拼接和标准化我一般写成独立的预处理脚本不放进推理脚本里方便后面换数据源复用import numpy as np import xarray as xr VARS [u10, v10, t2m, sp, mslp, z, t, u, v, q] LEVELS [1000, 925, 850, 700, 600, 500, 400, 300, 250, 200, 150, 100, 50] def preprocess_era5(nc_path, mean_dict, std_dict): ds xr.open_dataset(nc_path) # 按 LEVELS 顺序插值到统一的气压层 ds ds.interp(levelLEVELS) arrays [] for var in VARS: if var in [u10, v10, t2m, sp, mslp]: arr ds[var].values.astype(np.float32) else: arr ds[var].values.astype(np.float32) # 标准化 arr (arr - mean_dict[var]) / std_dict[var] arrays.append(arr) # 合并成模型输入: [1, 变量数, 纬度, 经度] stacked np.stack(arrays, axis0) return stacked[np.newaxis, ...]这段脚本做了三件事按训练时的气压层顺序插值按固定变量顺序重排最后做标准化。interp(levelLEVELS)这一步很关键如果下载的数据默认气压层是倒序的从 1000 到 50 或从 50 到 1000插值之后顺序就统一了。标准化那里mean_dict和std_dict是从项目自带的配置文件里读出来的字典不要自己重新计算数据的均值和标准差直接算会毁掉全部输入。3.3 数据格式转换NETCDF 到模型输入的边界坑ERA5 数据通常以 NETCDF 格式存储但模型的推理脚本可能直接接收 numpy 数组或 zarr 格式。常见的做法是把所需的变量和气压层裁好之后缓存成.npy文件推理脚本只负责加载.npy不直接读 NETCDF。这样做的好处是避免每次推理都做一遍重采样和标准化省时间也少踩坑。转换时最容易出问题的有三个点一是经度范围ERA5 的经度默认是 0 到 360但有的模型训练数据用的是 -180 到 180这里经常导致全球场出现一条明显的错位竖线二是纬度的上下界有的模型只做北半球区域外会被填成 NaN三是变量的物理单位比如 ERA5 的温度默认是开尔文有的模型期望摄氏度没换算就输入模型直接输出离谱数值。我习惯把单位检查和经纬度重排写进预处理脚本里并在导出 npy 前打印一段校验信息# 检查经度范围并统一到 0-360 if ds.lon.min() 0: ds ds.assign_coords(lon(ds.lon % 360)).sortby(lon) # 检查单位t2m 大于 200 基本可以确定是开尔文 if t2m in ds and ds.t2m.max() 200: print(t2m 单位是开尔文符合模型输入要求) np.save(data/era5/input_20230101.npy, input_data) print(已保存输入数据形状:, input_data.shape)ds.lon % 360这套取余操作能把 -180 到 180 的经度映射到 0 到 360再做一次sortby(lon)保证经度单调递增。如果项目代码期望的是 -180 到 180反过来做一次(lon 180) % 360 - 180就行。这两行看似简单很多翻车现场就是这里没处理好。4. 写第一个推理脚本从加载权重到输出 10 天气场4.1 推理脚本主体单 step 预测与多 step 滚动气象大模型的推理逻辑很直接输入一个初始时刻的全场数据模型输出未来 6 小时或 24 小时的预测场。要预测 10 天就得把预测结果当成下一次的输入循环调用模型。每次推理的时间步长由模型权重决定pangu_weather_6h.pth和pangu_weather_24h.pth分别对应不同的时间步长。下面是一个最小推理脚本把加载数据、跑模型、存结果串起来。这个脚本的核心循环是滚动预测每步把模型输出重新作为输入喂回去并把每一步的预测结果存成 NETCDF 文件。import torch import numpy as np import xarray as xr from src.model import PanguModel model PanguModel() ckpt torch.load(weights/pangu_weather_6h.pth, map_locationcpu) model.load_state_dict(ckpt.get(state_dict, ckpt)) model.eval().cuda() input_np np.load(data/era5/input_20230101.npy) # [1, C, H, W] input_tensor torch.from_numpy(input_np).float().cuda() outputs [] with torch.no_grad(): for step in range(40): # 40 * 6h 240h即 10 天 pred model(input_tensor) outputs.append(pred.detach().cpu().numpy()) input_tensor pred # 保存预测结果为 netcdf out_array np.concatenate(outputs, axis0) # [40, C, H, W] ds_out xr.DataArray( out_array, dims[time, var, lat, lon], coords{ time: np.arange(6, 241, 6), lat: np.linspace(90, -90, out_array.shape[-2]), lon: np.linspace(0, 360, out_array.shape[-1]), } ) ds_out.to_netcdf(data/output/pred_10days.nc)滚动预测的次数40是你预测总天数除以单步时长的结果。如果用的是 24 小时权重40就不是 10 天而是 40 天改成10就行。torch.no_grad()是推理时的标准写法不关掉的话 PyTorch 会为每次前向计算保存计算图显存直接翻倍很容易 OOM。输出的pred形状和输入一致因为模型做的是同一套网格的映射不需要额外处理。4.2 把输出变回物理量逆标准化和变量拆解模型的直接输出是标准化之后的值要得到有物理意义的温度、风场和气压场得做一次和预处理相反的操作。这一步不能省很多人在这一步直接看到预测全 0 或数值极大就是因为没做逆标准化。逆标准化的代码和预处理是镜像的def inverse_standardize(pred, mean_dict, std_dict, var_list): pred_phys np.zeros_like(pred) for i, var in enumerate(var_list): pred_phys[:, i] pred[:, i] * std_dict[var] mean_dict[var] return pred_phys这段代码把每个变量乘回标准差再加上均值。注意var_list的顺序必须和预处理时的VARS顺序完全一致否则变量串位。逆标准化之后的温度单位还是开尔文如果下游可视化或比对需要摄氏度自己再减 273.15。风场和气压场的单位则不需要额外处理ERA5 的标准单位就是 m/s 和 Pa。4.3 可视化快速验证300 行代码之外的 10 行断案法部署完成后不能只盯着数值看一张正确的地图胜过十行打印。我习惯在推理脚本里加一段极简的可视化代码直接把某一层的温度场画出来快速判断模型有没有跑对。不需要画得太精细一条等值线加一个色带就够了目的是看空间分布是否合理。import matplotlib.pyplot as plt import cartopy.crs as ccrs # 取第 24 小时的 2m 温度预测结果 t2m_pred pred_phys[4, 2] # 假设 var 顺序里 t2m 是第 3 个 ax plt.axes(projectionccrs.PlateCarree()) im ax.contourf(lons, lats, t2m_pred, cmapcoolwarm, levels30) ax.coastlines() plt.colorbar(im, shrink0.6) plt.title(T2M 24h Prediction) plt.savefig(data/output/t2m_24h.png, dpi150)这一段的作用是验证输出场的空间特征。正常的 t2m 场应该能看到海陆差异、南北温度梯度和中高纬度的天气系统结构如果画出来是一团匀色或者棋盘格那基本可以断定输入或标准化的某个环节出了问题。pred_phys[4, 2]这里的4代表第 24 小时6 小时间隔下第 5 步2代表变量索引具体数字取决于你拼接变量时 t2m 排在第几位。5. 避坑清单跑气象大模型最容易翻车的 5 个环节5.1 预测场全为 0 或全为定值检查标准化参数有没有按变量配对现象模型能跑通loss 不报错但输出的预测场所有格点都是同一个值画图全是一个颜色。原因标准化参数和变量的顺序没对位。比如模型的std里第 5 个变量是 mslp 的标准差但你的输入第 5 个位置放的是 sp两者数值差一个数量级标准化之后部分变量被压到接近 0模型输出自然就“平”了。解决在预处理脚本里加一行打印把每个变量的[mean, std, min, max]打出来人工确认顺序。我一般是直接打开项目源码里的标准化文件把里面的变量名字和顺序抄到预处理脚本的VARS列表里不凭记忆写。5.2 输出场出现清晰竖线或错位经纬度范围不统一现象预测结果整体看起来还行但有一条从北极到南极的明显分界像是把地图裁开再拼回去。原因模型训练时用的经度范围是 0 到 360你下载的 ERA5 数据经度是 -180 到 180。模型里的位置编码接受的是 0 到 360 的输入你喂了 -180 到 180相当于把整个场平移了 180 度预测场自然错位。解决预处理脚本统一做一次经度转换要么全部转成 0 到 360要么全部转成 -180 到 180。转换后打印经度数组的第一和最后一个值确认不是跳变的。5.3 显存不够报 OOMbatch 不是问题计算图才是现象模型刚跑几个 step 就报CUDA out of memory但输入数据才几十 MB。原因推理时忘了加torch.no_grad()PyTorch 把每个 step 的计算图都保留下来几十个 step 累积起来显存直接爆掉。解决在model(input_tensor)外层加with torch.no_grad():这是最直接有效的做法。如果还报 OOM用batch_size1跑并把输入数据切块。还有一招是使用自动混合精度推理把模型和数据都转成float16显存占用能省一半。with torch.no_grad(): pred model(input_tensor.half())注意这里用.half()之前要确认模型权重也转成了float16否则前向计算会报类型不匹配。气象大模型推理一般不用梯度half 精度对结果的影响基本可以忽略。5.4 权重下载反复断流不是网的问题是你没开断点续传现象权重文件下载到 60% 断了重新下载又从 0 开始浪费大量时间。原因默认的下载工具如浏览器或wget不带-c参数断流后从头再来。解决用wget -c或aria2c -x 8做断点续传和多线程下载。气象大模型的权重文件有几个 G 是常事断点续传是血泪经验换来的必备操作。下载完成后用sha256sum对比官方校验值确定文件没损坏再解压。wget -c https://example.com/weights/pangu_weather_6h.pth sha256sum weights/pangu_weather_6h.pth上面这组命令中-c是断点续传参数sha256sum的输出应该和项目 README 中给出的校验值一致不一致就删掉重新下。不要跳过校验直接拿去加载文件下载半截但恰好能解压的情况也有后面推理结果错了会很难排查。5.5 预测结果振幅越来越小或发散滚动预测步数过多现象预测第 1 天还很正常到第 5 天之后场的方差明显变小温度场变得平滑得像气候平均另一个极端是数值越来越大直接溢出。原因滚动预测的误差会累积。每个 step 的预测误差都会作为下一 step 的输入模型训练时的滚动步数有限超出后误差会被放大。这不是代码 bug是模型本身的物理衰减特性。解决确认你用的权重是几步滚动训练的。6 小时间隔的权重一般最多滚 40 步10 天超过这个长度预测场会明显退化。另一个缓解办法是每滚一步都做一次物理约束矫正比如把输出场的边界值 clamp 到合理范围或者用 ERA5 气候态的方差对输出做松弛。6. 验证预测结果用 ACC 和 RMSE 判断模型有没有真的跑通部署完成后最常被问的一句话是“跑出来的结果到底准不准”。气象上的验证有一套固定指标其中用得最多的是 RMSE均方根误差和 ACC距平相关系数。RMSE 越小越好ACC 越接近 1 越好。ACC 用起来特别顺手因为它对气候态的偏移不敏感能直观地看出预测的天气系统位置对不对。用第 4 章保存的pred_10days.nc和对应时次的 ERA5 再分析资料做验证import numpy as np import xarray as xr pred xr.open_dataset(data/output/pred_10days.nc)[__xarray_dataarray_variable__] truth xr.open_dataset(data/era5/truth_20230111.nc)[t2m] def calc_acc(pred, truth, clim): pred_anom pred - clim truth_anom truth - clim cov np.nansum(pred_anom * truth_anom) var_pred np.nansum(pred_anom ** 2) var_truth np.nansum(truth_anom ** 2) return cov / np.sqrt(var_pred * var_truth) clim truth.mean(dimtime, keep_attrsTrue) acc_24h calc_acc(pred[4], truth[4], clim) rmse_24h np.sqrt(np.nanmean((pred[4] - truth[4]) ** 2)) print(f24h ACC: {acc_24h:.3f}, RMSE: {rmse_24h:.3f})calc_acc这个函数实现的是经典 ACC 公式先各自减去气候态得到距平再算两个距平场的空间相关系数。clim我直接用验证时段内真实场的时间平均代替严谨的做法是用 1991 到 2020 年的气候态但做本地部署验证时用临时平均已经能说明问题。RMSE 的单位和变量一致t2m 的 RMSE 在 1 到 3 之间都算正常超过 5 基本可以确定部署有误。验证这一步是我每次本地部署必做的收尾动作。它不只是给旁人一个交代也帮我自己确认前面所有预处理和推理步骤没有出现隐性错误。我的习惯是每次部署完都跑一次 24 小时预测试试水ACC 低于 0.9 就先回头查变量顺序和标准化参数不要急着去跑十天预报。另外如果你部署后想接入业务或做成服务常见做法是写一个run_prediction.sh脚本把预处理、推理、逆标准化、可视化和验证串起来配合 crontab 定时跑。这个方向值得投入但本地部署的核心功夫还是今天前面这些环节——数据格式、变量顺序、标准化参数、滚动预测。把这些摸透了换任何一家气象大模型你上手都不会太慢。希望帮到你。本文还有配套的精品资源点击获取