多任务深度学习空气质量预测模型：从任务拆解到损失加权实战指南

简介这套以深度学习多任务方式实现空气质量预测的本科毕业设计资料包面向需要完成相关课题的本科生同时适用于环境科学、计算机等相关专业可辅助解决多指标空气质量联合预测与建模落地问题。资源覆盖数据读取、站点数据组织、模型定义、训练评估等典型环节包内共49个文件含36个CSV站点数据文件、7个Python脚本、4个Markdown文档、1个说明文本及.gitignore配置压缩包约5.08MB整体结构清晰便于按模块检索与复现。其中CSV提供分站点样本数据Python脚本涉及数据预处理、模型训练、评测与CUDA测试等流程Markdown文档便于快速了解目录结构、模型设计与环境说明目前已有82人学习下载。借助该资源读者可快速搭建实验环境理解多任务模型在空气质量预测中的实现细节把握从数据处理到模型评估的完整链路并以此为基础开展二次开发或完成毕业设计相关实验。1. 空气质量预测碰上多任务一份本科毕设能啃下的完整路线如果你的毕设题目是“基于深度学习的多任务空气质量预测模型设计与实现”先记住一个反直觉的结论难点不在“深度学习”而在“多任务”这三个字怎么落地。单任务预测PM2.5一个LSTM加全连接就能跑通但多任务意味着你的模型要同时输出多个相关但不完全相同的结果——最常见的组合是“当前时刻各污染物浓度 未来几小时PM2.5趋势 空气质量等级分类”它们共享底层特征却在损失函数、数据对齐、评价指标上各耍各的脾气。这篇笔记就顺着一条完整路线走任务怎么拆、数据怎么喂、模型怎么搭、损失怎么加权、坑在哪里。读者定位是即将动手做毕设或者准备复现这个方向的本科生和刚入门的研究生目标是让你照着能跑通跑完能讲明白为什么这么设计。2. 任务与数据准备多任务到底拆哪几个任务、数据怎么对齐2.1 多任务拆解不是随便找三个输出就叫多任务多任务学习的价值建立在“任务间有共享信息”的前提上。空气质量预测里最常见的拆法有三种按实现难度排序多污染物浓度联合预测同时对PM2.5、PM10、SO2、NO2、CO、O3建模共享气象特征每个污染物一个输出头。这是最自然的拆法因为污染物之间本身存在化学转化和同源排放关系。浓度回归 等级分类一个头预测未来PM2.5数值另一个头同时输出AQI等级优/良/轻度/中度/重度/严重。等级标签可以从浓度按国标换算不需要额外标注非常适合毕设数据来源。多站点联合预测对同一个城市的不同监测站分别建模共享时空特征。这个对数据量要求高本科毕设如果没有几十个站点的历史数据不建议首选。我一般会推荐第二种“回归 分类”的组合。原因很实际它保证了任务差异性足够大——回归任务关注数值精度分类任务关注阈值边界两者共享特征提取器时编码器被迫学到“既区分等级边界、又逼近连续值”的中间表征比单纯多污染物回归更容易体现多任务带来的提升。而且等级标签不用额外收集从浓度直接用国标换算就能生成。任务拆定后有一个容易忽略的设计决策哪些层共享、哪些层独立。常见做法是前2到3层通常是LSTM或CNN的底层完全共享在任务头之前分叉。不要一开始就全共享也不要上来就每个任务独立特征提取器——前者容易任务间干扰后者就是单任务模型拼在一起根本没有共享表征的余地。2.2 数据来源与对齐时间戳是你第一个要踩的坑数据是毕设里最耗时间的部分。常见公开数据源包括UCI的Air Quality数据集、中国环境监测总站的发布数据以及一些Kaggle上的城市空气质量历史数据。需要注意不同来源的污染物浓度是小时级的气象数据可能是小时级或3小时级风向风速的更新频率还不一样。拿到原始数据后第一步永远是统一时间戳。我的习惯做法是import pandas as pd import numpy as np # 读取污染物和气象两份数据 pollution pd.read_csv(pollution.csv, parse_dates[datetime]) weather pd.read_csv(weather.csv, parse_dates[datetime]) # 统一重采样到小时级取小时的整点 pollution pollution.set_index(datetime).resample(1H).ffill() weather weather.set_index(datetime).resample(1H).ffill() # 按时间对齐合并丢弃没有气象数据的时段 df pollution.join(weather, howinner) # 对少数连续缺失值做线性插值窗口超过6小时的直接丢弃 df df.interpolate(methodlinear, limit6) df df.dropna()逻辑说明先用resample(1H)把不同频率的数据统一到小时粒度ffill()对落在两个整点之间的记录做前向填充howinner保证合并后每条记录同时有污染物和气象特征避免模型在部分特征缺失的样本上学到错误规律。最后interpolate只允许6小时以内的连续缺失被填充超过这个窗口说明数据质量太差直接删掉比强行补更安全。参数说明limit6这个参数是可调的。如果数据本身连续性差可以放宽到12但代价是插值引入的虚假平滑会直接传导到预测结果表现为模型的MAE很低但泛化性能差——因为测试集的缺失值同样被插值了相当于“开卷考试”。我通常先看数据缺失比例超过20%的站点直接弃用不补。2.3 滑动窗口构造lookback怎么选多任务的目标怎么组织深度学习方法处理时间序列的基本套路是滑动窗口用过去L个小时的特征预测未来H个小时的结果。对空气质量预测常见配置是lookback24过去一天预测未来1小时或6小时的浓度。def make_samples(df, lookback24, horizon6): features df.values # 形状: (时间步, 特征数) X, y_reg, y_cls [], [], [] for i in range(len(df) - lookback - horizon 1): X.append(features[i : i lookback]) # 回回归目标horizon小时后PM2.5浓度 reg_target df[PM2.5].iloc[i lookback horizon - 1] y_reg.append(reg_target) # 分类目标用同一时刻的PM2.5换算AQI等级 cls_target pm25_to_aqi_level(reg_target) y_cls.append(cls_target) return np.array(X), np.array(y_reg), np.array(y_cls)逻辑说明这个函数同时生成三个数组——X是过去24小时的所有特征含气象和污染物历史值y_reg是未来第6小时的PM2.5浓度y_cls是同一时刻的AQI等级。多任务的“多”就体现在这里同一个输入样本同时监督两个输出。参数说明horizon6的预测叫“未来6小时预报”在环境监测场景里比1小时预测更有实用价值也更好写进论文的结论部分。预测步长越长任务越难模型的误差也越大这是正常的——不要为了好看的数字只做1小时预测答辩老师一问“这个模型能不能用于预警”就露馅了。PM2.5转AQI等级的公式不在这里展开用国标HJ 633-2012的折算表即可注意所有等级的边界值取对数或线性插值时要保持一致。3. 模型构建与损失函数共享编码器加三个任务头配不确定性加权3.1 基座编码器选型LSTM够用CNN-LSTM是性价比方案本科毕设的模型规模不需要追求SOTA但架构要能讲清楚“为什么这样设计”。我的建议是用两层LSTM做时序编码器或者先用一层Conv1D做局部特征提取再接LSTM。前者实现简单、训练稳定后者能显式捕捉“污染物浓度在相邻几小时内的突变”在沙尘天气或早晚高峰场景下效果更好。import torch import torch.nn as nn class MultiTaskAirQualityModel(nn.Module): def __init__(self, n_features, hidden_size64, n_layers2, dropout0.3): super().__init__() # 共享编码器两层LSTM提取时序特征 self.encoder nn.LSTM( input_sizen_features, hidden_sizehidden_size, num_layersn_layers, batch_firstTrue, dropoutdropout if n_layers 1 else 0, ) # 回归头预测未来PM2.5浓度单值 self.reg_head nn.Sequential( nn.Linear(hidden_size, 32), nn.ReLU(), nn.Dropout(dropout), nn.Linear(32, 1), ) # 分类头预测AQI等级6类 self.cls_head nn.Sequential( nn.Linear(hidden_size, 32), nn.ReLU(), nn.Dropout(dropout), nn.Linear(32, 6), ) def forward(self, x): # x: (batch, seq_len, features) lstm_out, (h_n, _) self.encoder(x) # 取最后一层的最终隐藏状态 last_hidden h_n[-1] # (batch, hidden_size) reg_out self.reg_head(last_hidden).squeeze(-1) cls_logits self.cls_head(last_hidden) return reg_out, cls_logits逻辑说明LSTM返回两个东西——lstm_out是每个时间步的输出h_n是最后一层每个时刻的隐藏状态集合。这里取h_n[-1]即编码器处理完整个24小时窗口后的最终状态作为整个序列的“总结向量”分别喂给回归头和分类头。reg_head和cls_head是两层全连接加ReLU的轻量结构从共享表征中分别抽出数值预测和分类概率。参数说明hidden_size64对小时级空气质量数据足够了性能瓶颈通常在数据质量而不是模型容量。n_layers2是平衡拟合能力和训练难度的常见选择1层可能欠拟合3层在几千条样本下容易过拟合。dropout0.3建议不要低于0.2空气质量数据本身噪声大全连接层的Dropout能明显抑制过拟合。3.2 损失函数设计直接相加是新手最常犯的错两个任务头的输出量纲完全不一样——回归任务的MSELoss数值可能在几百到几千分类任务的CrossEntropyLoss通常在1到3之间。如果直接相加梯度会被回归任务主导分类头训练得稀烂。这里有两个主流方案方案一固定权重 归一化。把回归损失除以一个常数比如目标变量的方差再和分类损失以1:1相加。实现简单但常数需要手动调换数据集就得重调。方案二不确定性加权Kendall et al. 2018。让模型自动学习每个任务损失在总损失中的权重通过可学习的log方差参数来调节。这是我在多任务毕设里最常用的方案因为省去手动调权重的时间而且答辩时能讲出一套完整的数学依据。class UncertaintyWeightedLoss(nn.Module): def __init__(self, n_tasks2): super().__init__() # log_var是每个任务的不确定性参数可学习 self.log_var nn.Parameter(torch.zeros(n_tasks)) def forward(self, reg_pred, reg_target, cls_logits, cls_target): loss_reg nn.functional.mse_loss(reg_pred, reg_target) loss_cls nn.functional.cross_entropy(cls_logits, cls_target) # 不确定性加权loss 0.5 * exp(-log_var) * loss 0.5 * log_var precision_reg torch.exp(-self.log_var[0]) precision_cls torch.exp(-self.log_var[1]) total_loss ( 0.5 * precision_reg * loss_reg 0.5 * self.log_var[0] 0.5 * precision_cls * loss_cls 0.5 * self.log_var[1] ) return total_loss, loss_reg, loss_cls逻辑说明这个公式的理论来源是高斯似然和拉普拉斯似然的变分近似当某个任务的数据噪声大时模型自动降低它的权重exp(-log_var)变小同时用log_var项作为正则约束防止权重无限制地坍缩到0。实际训练时你会发现模型自动给回归任务的权重配得比分类任务高但不像手动相加那样高到离谱。参数说明n_tasks2对应两个任务头。如果加了第三个任务这里改为3并补上对应的precision计算。注意两个0.5的系数是公式的一部分不是随意加的——它来自高斯分布的对数似然展开不要为了“平衡”把它删掉删掉后等价于没有正则项的加权训练初期容易让权重振荡。3.3 训练循环梯度累积和早停的必要性多任务训练的循环结构和单任务差别不大但要关注两件事每个任务的loss是不是都在下降而不是一个降一个升以及验证集上两个任务的最优epoch是否重合。optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience8, verboseTrue ) for epoch in range(max_epochs): model.train() for batch_X, batch_reg, batch_cls in train_loader: optimizer.zero_grad() reg_pred, cls_logits model(batch_X) loss, loss_reg, loss_cls criterion( reg_pred, batch_reg, cls_logits, batch_cls ) loss.backward() # 梯度裁剪LSTM训练必备 nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() # 验证阶段同时记录两个loss val_loss_reg, val_loss_cls evaluate(model, val_loader) total_val val_loss_reg val_loss_cls scheduler.step(total_val)逻辑说明ReduceLROnPlateau会在验证集总损失连续8个epoch不下降时把学习率减半这个策略比按epoch固定衰减更适合多任务场景——因为不同任务的收敛速度不一样固定衰减可能在一个任务还没收敛时就降了学习率。梯度裁剪的max_norm1.0是LSTM训练的标准操作空气质量数据中的异常峰值比如突如其来的沙尘暴导致PM10暴涨很容易让梯度爆炸。参数说明weight_decay1e-4是L2正则和Dropout配合改用。如果发现训练集loss正常下降但验证集波动剧烈优先调低学习率到3e-4而不是加正则。patience8是“连续8个epoch不下降”换算到你的数据集规模上大约是训练总数的10%到15%太早会让模型欠拟合太晚则失去早停的意义。4. 常见问题排查五个让空气质量预测模型翻车的坑4.1 时间泄露train_test_split直接随机切分现象训练集MAE只有个位数验证集MAE是它的三到四倍且模型在验证集前一小段表现正常、越往后越差。原因空气质量和气象数据有强自相关性今天的PM2.5和昨天的PM2.5高度相关。用sklearn.train_test_split默认的随机切分会把相邻时间步的样本分到训练集和测试集模型等于提前“看过”了答案。这是时间序列预测里最经典的错误。解决按时间顺序切分训练集放前70%的时间区间验证集放中间15%测试集放最后15%。宁可训练集样本少一点也不要引入时序泄露。4.2 归一化参数用全量数据拟合现象测试集表现比预期好很多但部署到新数据上明显拉胯。原因用整个数据集包括测试集计算了均值和方法做Z-Score归一化测试集的信息在预处理阶段就泄露给了模型。这和第4.1本质上是同一种错误只是藏在数据预处理的细节里。解决先切分数据再在训练集上计算归一化参数用同一组参数变换训练集和测试集。scaler.fit(train_features)然后scaler.transform(test_features)不要在合并后的全量数据上fit。4.3 插值掩盖了数据你真缺失现象训练时loss很低可视化预测曲线时发现“预测值”滞后于真实值约一个时刻整体偏平滑。原因数据缺失太多时用线性插值填满整个序列插值本身引入了“未来的信息”——插值点两端的真实值都已知相当于包含了过去和未来的混合信息模型学到的是“取前后平均值”而不是真实的时序依赖。解决插值窗口收紧到limit3以下连续缺失超过6小时的段直接丢弃而不是用长窗口插值填满另一个思路是保留时间掩码作为输入特征让模型知道当前位置是插值还是真实观测。4.4 AQI等级分类头训不上去现象回归头的MAE很正常但分类头的F1分数长期在0.4左右尤其是“中度污染”这个等级几乎预测不出来。原因等级分布严重不平衡。空气质量良好的天数占大多数轻度以上污染天数很少但分类损失CrossEntropy不会自动处理类别不平衡。同时等级分类的边界由连续的PM2.5浓度决定越接近边界越容易混淆而“中度污染”恰好处于边界密集区域。解决给少数类别加权CrossEntropyLoss的weight参数按类别样本数的倒数设置或者把预测结果在验证集上重新做一次概率校准——对每个等级设置不同的判定阈值而不是一律取最大概率。4.5 多任务一个任务主导训练现象分类头的loss一直降不下去或者训练曲线显示回归loss在下降但分类loss来回横跳最终验证集上分类任务甚至不如单任务模型。原因不确定性权重的初始值设置不当或者两个任务的学习难度差异过大。如果不确定性加权跑出来的权重变化太慢一个任务可能在前几百个epoch内一直压制另一个任务。解决把两个任务头的损失在初始状态下打印出来——如果相差超过一个数量级先做损失归一化回归loss除以100或按方差缩放再交给不确定性加权去学习。这相当于给不确定性加权一个更合理的起点而不是指望它从零开始自己找平衡。5. 训练与验证时间顺序切分、指标分层和参数调节顺序5.1 验证集要按时间块划分不要随机采样除了第4.1节提到的切分原则还有个细节验证集不要只留一个连续的时间块而是故意留在“包含异常天气”的时段。空气质量预测的难点不在正常天气而在沙尘暴、逆温、极端静稳天气这些少样本场景。如果验证集恰好选在风平浪静的一周模型的验证损失会很好看但一遇到污染过程就崩盘。我的做法是直接从测试集往前推30天作为验证集用matplotlib画一下这30天的PM2.5曲线确认里面至少包含一次浓度超过150的污染过程。如果整段时间都是好天气再往前挪窗口直到验证集里有“硬骨头”样本。5.2 回归指标按污染程度分层统计只看整体的MAE或RMSE会在答辩时被一句话问倒“模型在重度污染时表现如何”你的论文结论里如果只有全局MAE是18看起来不错但可能重度污染场景下的MAE是60——因为重污染样本数量少被平均值稀释了。def evaluate_by_level(y_true, y_pred): results {} bins [(0, 50, 优), (50, 100, 良), (100, 150, 轻度), (150, 200, 中度), (200, 300, 重度), (300, 500, 严重)] for low, high, name in bins: mask (y_true low) (y_true high) if np.sum(mask) 0: results[name] None else: errors np.abs(y_true[mask] - y_pred[mask]) results[name] { n: int(np.sum(mask)), mae: float(np.mean(errors)), rmse: float(np.sqrt(np.mean(errors ** 2))) } return results逻辑说明把预测误差按真实浓度段分组统计输出每个等级下的样本数和MAE/RMSE。这样能一眼看出模型在哪个区间失效。绝大多数情况下你会发现优和良的MAE只有个位数但中度及以上的MAE成倍增长。这不一定意味着模型失败——可能是重度污染本身是小样本事件模型训练时见过的就少。参数说明分段边界按空气质量指数AQI的颜色区间来分不要自己随便定。如果按“PM2.5浓度值”而非AQI划分边界参考24小时均值浓度限值和前面等级换算保持一致。5.3 参数调节顺序先修基础再调花活训练多任务模型时初学者最容易犯的错是一上来就调注意力机制、调loss权重、加双向LSTM。我建议的调节顺序是先把单任务基线跑通只保留回归头训练一个最小可用的模型。确认数据管线和训练循环的代码没有隐性bug比如反向传播时梯度没更新。加上分类头跑多任务如果分类头训不上去先检查类别权重和损失是否合理不要急着改编码器结构。调共享层的容量hidden_size从32试到128看验证集上的两个任务是否同时受益。如果某个任务在hidden_size变大后反而变差说明过拟合重点调Dropout和weight_decay。最后调不确定性加权和早停这些是“锦上添花”的组件它们不会把结构错误的数据管线拯救回来。为什么这个顺序重要因为如果你直接搭好完整的多任务模型训练失败时你无法判断是数据问题、编码器问题还是损失权重问题。每一步只改一个变量才能定位瓶颈。6. 加分技巧用误差时相分析和注意力权重把毕设讲到答辩老师点头毕业设计的答辩本质上是一场“可信度答辩”评审老师的关注点不是你的模型涨了多少点而是你“是否真正理解了你的数据和模型”。这里有两个实用技巧能把你的工作量可视化。技巧一误差的时间热力图。把模型的预测误差按“小时”和“月份”两个维度画成热力图。你会发现早高峰7-9点和冬季月份的误差显著偏高。这个现象背后的解释是早晚高峰的机动车排放突增模型如果没有把时间特征编码足够强就难以捕捉这种小时级的突变冬季则受采暖排放和气象扩散条件差的叠加影响。在论文里用一节“误差的时空分布分析”写这个发现比单纯堆叠对比表格更显功力。import matplotlib.pyplot as plt import seaborn as sns errors (y_true - y_pred).abs() heatmap_data pd.DataFrame({ hour: test_df[datetime].dt.hour.values, month: test_df[datetime].dt.month.values, error: errors.values }) pivot heatmap_data.pivot_table(valueserror, indexmonth, columnshour, aggfuncmean) sns.heatmap(pivot, cmapYlOrRd) plt.xlabel(Hour of Day) plt.ylabel(Month) plt.show()技巧二注意力权重或隐藏状态的可视化。如果你用的是LSTM可以把测试集某条样本输入模型提取最后一个时间步的隐藏状态再用PCA降到二维按AQI等级着色。你会发现不同等级在隐藏空间里有明显的聚类倾向——这就是“共享编码器学到了等级相关特征”的直接证据。如果用的是CNN-LSTM可以可视化Conv1D的滤波器响应看模型是否在早晚高峰时段对污染物浓度突变有更强的激活。这两个技巧不需要改模型架构只用你手里已有的实验结果重新组织和呈现。但它们传递的信息是你不仅会跑代码还能从模型内部行为中提炼出和空气质量领域知识一致的解释——这是本科毕设中区分“调包跑数”和“真正理解问题”的关键。我自己的习惯是每次训练完先不急着看总指标而是直接把测试集最后一个月的预测曲线和真实曲线画在一起把错误极端值误差超过50的样本挑出来逐个看它们对应的天气状况。这样坚持几轮后对模型什么时候会失效、数据哪里最脆弱会形成一种说不清但很准的直觉。这个习惯做不了假也是答辩时面对追问最有底气的地方。希望这篇笔记能帮你把毕设做成一个自己信得过、老师挑不出硬伤的作品。本文还有配套的精品资源点击获取