LSTM+GNN时间序列预测实战：从eICU数据预处理到模型训练

简介这份代码包围绕长短期记忆网络与图神经网络相结合的混合时序预测实现面向计算机、电子信息、数学等专业学生以及需要构建时序预测模型的开发者适用于课程设计、期末大作业和毕业设计等场景。包内完整覆盖模型训练、动态图构建、数据预处理、指标评估与显著性检验等环节并采用参数化编程风格注释详细便于按需调整参数快速启动实验。压缩包共八十二个文件以Python脚本为核心辅以CSV结果数据、SQL数据表脚本、Markdown说明文档及JSON路径配置等整体仅一百五十九KB结构紧凑。当前已有二百二十七人学习下载。借助该资源读者可获得可运行的完整工程既包含多种长短期记忆与图神经网络变体组合的对比实验也附带了重症监护医疗时序数据的预处理流程能够帮助深入理解混合模型在时间序列预测中的实际落地方案也可在此基础上继续扩展和改进。1. 一份把 LSTM、GNN、时间序列预测串成完整管线的实战资源拿到时间序列预测任务很多人的第一反应是“上 LSTM”然后在单一序列上反复调参。但当数据是多实体、彼此有交互关系的场景比如重症监护里不同的病人、不同的诊断指标纯 LSTM 会把实体之间的依赖关系直接忽略掉。这份资源解决的是把 LSTM 的时序建模能力和 GNN 的图结构建模能力组合起来的问题围绕 eICU 重症监护数据集给出院内死亡率IHM和住院时长LOS两个任务的完整实现从 SQL 建表、特征扁平化、图构建、训练脚本到结果 CSV全部在压缩包里。适合计算机、电子信息、数学等专业做课程设计和毕业设计的同学也适合想快速搭起一条 LSTM-GNN 训练管线的工程师。代码是 Python 实现参数化程度高改几处配置就能换数据集重跑。2. 模型底座与训练管线LSTM-GNN 三种组合怎么选2.1 为什么是 LSTMGNN 而不是纯 LSTMLSTM 擅长捕捉时间上的长期依赖它通过输入门、遗忘门和输出门控制信息流动能在长序列上缓解梯度消失。但它的默认假设是把所有变量按时间步展开成一个有序向量每个患者指标、每个传感器测点之间的关系没有被显式建模。GNN 的出现就是为了把“变量之间的关系”作为显式结构输入模型通过邻居信息聚合不断更新节点表示。在 eICU 这样的数据上一张图可以定义为患者节点与诊断节点的关联图也可以定义为特征节点之间的邻接图。IHM院内死亡风险和 LOS住院时长这类任务强依赖共病信息、诊断组合和指标之间的耦合关系纯 LSTM 会把它们当作独立的数值特征处理丢失结构信息。这也是为什么资源里保留了纯 LSTM 的基线结果 CSV也放出了 MPNN、GAT、GraphSAGE 三种 GNN 变体的结果——拿来做消融对比写论文和做毕设都站得住。2.2 代码目录拆解src、graph_construction、eICU_preprocessing、results 各自的角色拿到压缩包后第一件事不是跑训练而是先读目录结构。这份资源的规划比较清晰四个顶层目录各管一段. ├── src/ │ ├── utils.py # 通用工具数据读写、归一化、日志 │ ├── metrics.py # 评估指标AUC、accuracy、F1 等 │ ├── significance_testing/ # 显著性检验对比模型差异是否显著 │ ├── dataloader/ # 数据加载与批处理返回图时序样本 │ ├── models/ # LSTM、GNN 及组合模型定义 │ ├── hyperparameters/ # 超参数配置目录 │ ├── args.py # 命令行参数解析入口 │ ├── paths.json # 路径与数据目录配置 │ ├── train_ns_lstm.py # 纯 LSTM 基线训练脚本 │ ├── train_ns_gnn.py # 纯 GNN 训练脚本 │ ├── train_ns_lstmgnn.py # LSTM-GNN 组合训练脚本 │ └── train_dynamic.py # 动态图训练脚本 ├── graph_construction/ │ ├── create_graph.py # 静态图构建基于诊断信息 │ ├── create_bert_graph.py # 基于 BERT 构建图 │ ├── bert.py # BERT 编码相关工具 │ └── checking/ # 图构建结果检查脚本 ├── eICU_preprocessing/ │ ├── create_all_tables.sql # 建表 SQL │ ├── labels.sql # 标签表 SQL │ ├── timeseries.sql # 时序特征表 SQL │ ├── flat_features.sql # 扁平化特征 SQL │ ├── flat_and_labels.py # 特征扁平化标签合并 │ ├── split_train_test.py # 训练测试划分 │ ├── run_all_preprocessing.py # 一键执行全部预处理 │ ├── diagnoses.sql # 诊断表 SQL │ ├── diagnoses.py # 诊断数据读取 │ └── timeseries.py # 时序数据读取 └── results/ # 全部模型结果 CSV注意一个容易误判的点摘要里写了“matlab2014/2019a/2024a”但这份资源的训练代码是 Python不是 .m 文件。它的案例数据是通用格式可以喂给 Python 的 dataloader也可以自行导入 Matlab 做可视化对比。我一般建议把 Matlab 当辅助工具用主流程还是走 Python。2.3 三条训练入口纯 LSTM、纯 GNN、LSTM-GNN 组合src 下给出了三个训练脚本对应三个层次的基准模型。先看命名ns是 not shared 的意思表示患者之间不共享图参数每个样本走独立的图传播路径。train_ns_lstm.py只做时序建模不建图train_ns_gnn.py只做图建模不看时序train_ns_lstmgnn.py把两条线接起来时序特征先进 LSTM得到的隐状态作为节点特征再送入 GNN 做消息传递。# 纯 LSTM 基线 python src/train_ns_lstm.py --config src/hyperparameters/lstm_config.json # 纯 GNN 基线 python src/train_ns_gnn.py --gcn_type gat --config src/hyperparameters/gnn_config.json # LSTM-GNN 组合模型 python src/train_ns_lstmgnn.py --gcn_type mpnn --config src/hyperparameters/lstmgnn_config.json--gcn_type支持 mpnn、gat、sage 三种后端模型定义在 src/models 下。组合模型的输入维度是 LSTM 隐藏层维度输出维度由下游任务决定IHM 是二分类LOS 是回归或者区间分类。跑之前先确认 paths.json 里的数据路径指向预处理完的目录否则 dataloader 会直接报文件找不到。2.4 动态图管线 train_dynamic.py 与静态图的差别静态图和动态图的区别直接决定你要不要跑train_dynamic.py。静态图是预处理阶段一次性建好的整批样本共享同一张邻接矩阵适合关系结构相对固定的场景动态图是每个 batch 根据当前样本临时构建图结构节点和边随输入变化更接近真实世界中“病人不同诊断关系也不同”的情况。# 动态图训练gcn_type 可换 gat / mpnn python src/train_dynamic.py --gcn_type gat --config src/hyperparameters/dynamic_config.json动态图的代价是训练速度慢每个 batch 都要重新算邻接矩阵和消息传递路径。如果只是做毕业设计验证模型效果静态图 LSTM-GNN 通常够用如果要冲论文结果动态图往往是涨点的那一个。我在第一次跑动态图时显存占用直接比静态图高了 40% 左右建议 batch size 先减半再调这一步省很多事。3. eICU 数据预处理与图构建从 SQL 建表到 BERT 图生成3.1 预处理四步走建表、特征扁平化、标签合并、划分数据集eICU 的原始数据是关系型结构分布在多张表里直接喂给模型是不可能的。eICU_preprocessing目录下的脚本把流程拆成四段第一步执行 SQL 建表和特征聚合。# 在 PostgreSQL 中执行建表脚本 psql -U your_user -d eicu -f eICU_preprocessing/create_all_tables.sql psql -U your_user -d eicu -f eICU_preprocessing/flat_features.sql psql -U your_user -d eicu -f eICU_preprocessing/labels.sql这三个 SQL 文件分别负责创建基础表、把时序特征按患者 ID 扁平化为宽表、生成 IHM 和 LOS 的标签字段。执行完后数据还是宽表结构特征列很多需要下一步筛选。第二步运行run_all_preprocessing.py它会依次调用timeseries.py、diagnoses.py、flat_and_labels.py把原始表合并成模型能直接读的特征矩阵和标签向量。python eICU_preprocessing/run_all_preprocessing.py第三步split_train_test.py按患者 ID 划分训练集和测试集避免同一个患者的数据同时出现在两边。python eICU_preprocessing/split_train_test.py --test_ratio 0.2--test_ratio是测试集比例默认 0.2。划分逻辑是按患者 ID 做 group split不是随机按行切这一点后面避坑章节还会细说它是数据泄漏的高发区。3.2 静态图构建诊断编码与 create_graph.py图构建的核心是定义节点和边。graph_construction/create_graph.py做的事情是把每个患者的诊断编码序列作为节点两个诊断在同一个患者身上同时出现就建立一条边边权是共现次数。这样一张图就表达了诊断之间的关联强度。# 伪代码逻辑对应 create_graph.py 的构建流程 import json from collections import defaultdict def build_static_graph(diagnosis_lists, window_size3): edge_weight defaultdict(int) for patient_diags in diagnosis_lists: for i in range(len(patient_diags)): for j in range(i 1, min(i window_size, len(patient_diags))): # 窗口内共现的诊断对 key (patient_diags[i], patient_diags[j]) edge_weight[key] 1 return edge_weightwindow_size控制共现窗口默认 3含义是只考虑同一个患者诊断序列里间隔不超过 3 个位置的诊断对。窗口太小看不到远距离依赖窗口太大图会变得稠密消息传递时噪声也大。如果节点数超过 500Message Passing 的复杂度会明显上升这时候可以考虑把window_size降到 2。3.3 基于 BERT 的图构建create_bert_graph.py 为什么值得跑静态图只用了诊断编码的共现信息语义上是稀疏的。比如“糖尿病”和“高血糖”在代码上不相似但语义上强相关。create_bert_graph.py的思路是把诊断字符串送到 BERT 编码得到每个节点的语义向量再用余弦相似度决定节点之间是否有边以及边的权重。python graph_construction/create_bert_graph.py \ --bert_model bert-base-uncased \ --similarity_threshold 0.75 \ --output graph_construction/bert_graph.jsonsimilarity_threshold是建边阈值余弦相似度大于 0.75 才建边。这个值需要根据实际数据调调高了图太稀疏调低了图变成全连接。我第一次跑的时候设了 0.5结果图的边数翻了三倍训练时间直接失控。后来把阈值调到 0.8图才变得合理。BERT 图的优势是能捕捉诊断之间的语义关联但依赖预训练模型首次运行要下载权重。如果网络条件不允许可以先跳过 BERT 图用 3.2 的静态图跑通主流程后面再补这份增强图。3.4 图构建完一定要检查graph_construction 目录下有个 checking 子目录专门检查建图结果。我的做法是先看节点数、边数、平均度三个指标再随机抽几个节点看邻居是否符合直觉。python graph_construction/checking/check_graph.py --graph_path graph_construction/static_graph.json一般要确认三点节点数不等于 0边数在合理范围内图的连通分量不要太多否则消息传递很难传播到全图。如果连通分量超过节点数的 20%优先检查诊断编码是否有大量空值或异常编码。4. 训练与结果复现参数配置、运行命令与 CSV 命名解读4.1 环境准备requirements 里的那点细节资源里带的requirements要求.txt是环境依赖清单。Python 版本建议 3.8 或 3.9PyTorch 版本按你的显卡驱动来定。安装依赖时注意如果你卡在 python 安装或者第三方库下载慢先把 pip 源切到国内镜像能省下大量时间。pip install -r requirements要求.txt -i https://pypi.tuna.tsinghua.edu.cn/simple文件里一般包含 torch、numpy、pandas、scikit-learn、transformers 这几个核心库。transformers 只在跑 BERT 图时需要如果只训练静态图模型可以注释掉省 2 个 G 的依赖体积。环境配好后先跑一个最小测试确认 dataloader 正常。python -c from src.dataloader import *; print(dataloader ok)这一步能提前暴露路径配置、Python 环境等基础问题避免后面训练脚本报一堆看不懂的错。4.2 关键超参args.py 与 hyperparameters 目录参数化编程是这份资源的一个特点超参集中在src/hyperparameters/下通过命令行传入不需要改源码。train_ns_lstmgnn.py 里的--config参数指定 JSON 配置文件常用参数如下。参数示例值说明--epochs50训练轮数IHM 任务收敛快LOS 要多跑几轮--batch_size32批次大小过大容易爆显存--lr0.001学习率GNN 部分一般比 LSTM 部分要小--hidden_dim128LSTM 隐藏层维度也是 GNN 输入维度--gcn_layers2GNN 层数超过 3 层容易过平滑--dropout0.3丢弃率GNN 层间加 dropout 能防过拟合--gcn_typempnn/gat/sage图卷积类型GNN 层数是最值得调的超参。GNN 层数对应聚合多少跳邻居的信息层数越多理论上感知域越大但超过 3 层会出现过平滑所有节点表示趋于一致模型性能反而下降。我在 eICU 上测试2 层效果最好1 层欠拟合4 层明显退化。4.3 结果 CSV 命名规范看懂 results 目录的每一条记录results 下有几十个 CSV初看眼花缭乱但命名规律很强拆开看就三层含义。前缀/后缀含义lstm_纯 LSTM 基线lstmgnn_LSTM-GNN 组合模型mpnn/gat/sageGNN 类型消息传递、图注意力、GraphSAGE_ihm/_los任务类型院内死亡率 / 住院时长dyn_动态图版本ns_not shared不共享图参数no_diag不使用诊断信息建图的消融实验举个例子lstmgnn_gat_ihm_no_diag.csv表示 LSTMGAT 模型、IHM 任务、不使用诊断信息建图。dyn_gat_los.csv表示动态图GAT、LOS 任务。看懂这个命名你就能直接对照实验结果判断哪些模块贡献了多少提升。4.4 跑通一条完整训练命令以静态图 LSTM-GNN 为例完整跑一遍流程。首先确认预处理和建图都已完成然后执行# 1. 配置路径 vim src/paths.json # 2. 训练 LSTM-GAT 组合模型IHM 任务 python src/train_ns_lstmgnn.py \ --gcn_type gat \ --task ihm \ --config src/hyperparameters/lstmgnn_gat_ihm.json \ --output results/lstmgnn_gat_ihm.csv训练过程中重点看两个指标验证集 AUC 是否持续上升训练 loss 是否震荡。如果验证集 AUC 在前 5 个 epoch 没有超过 0.6大概率是图构建有问题回第 3 章检查节点和边是否合理。跑完后结果会写入 results 目录用 pandas 可以快速读出来import pandas as pd df pd.read_csv(results/lstmgnn_gat_ihm.csv) print(df.columns) print(df.iloc[:, -5:].describe()) # 最后几列一般是指标如果 CSV 里指标列是空的检查训练脚本里 metric 计算部分常见原因是评估阶段没有传入标签导致 AUC 算出来是 NaN。5. 避坑指南LSTM-GNN 时间序列预测的五个高频踩坑点5.1 数据泄漏按行随机切分导致模型“作弊”现象训练集 AUC 高达 0.97测试集 AUC 却只有 0.55两者差距大得离谱。原因split_train_test.py如果按行随机切分同一个患者的多次测量会同时出现在训练集和测试集模型在训练时已经见过这个患者的特征分布测试时属于“开卷考试”成绩虚高。解决必须按患者 ID 分组划分。import pandas as pd from sklearn.model_selection import GroupShuffleSplit df pd.read_csv(flat_features.csv) gss GroupShuffleSplit(n_splits1, test_size0.2, random_state42) train_idx, test_idx next(gss.split(df, groupsdf[patient_id])) train_df, test_df df.iloc[train_idx], df.iloc[test_idx]这个坑在时间序列预测里最常见尤其是做医疗数据。拿到任何数据集先看有没有患者 ID、用户 ID 这类分组字段有就一定要按组切分。5.2 图构建时诊断编码不统一同样的诊断出现多种写法现象建出来的图边数极少节点数量超过预期几十倍。原因诊断编码有的带前缀、有的带空格、有的大小写不一致被当成了不同节点。解决在构建节点前强制做标准化。def normalize_diag(code): code str(code).strip().upper() # 去掉常见前后缀 code code.replace(ICD9:, ).replace(ICD10:, ) return code diagnosis_lists [[normalize_diag(c) for c in patient] for patient in diagnosis_lists]把这个函数加进 create_graph.py 的数据加载阶段再重新建图节点数通常会降一个数量级。5.3 BERT 建图慢到怀疑人生现象create_bert_graph.py 跑了一个小时还没结束显存占用也不高但就是慢。原因BERT 编码是逐条过模型的几万条诊断字符串一条一条编码时间全花在 Python 循环和模型前向上了。解决批量编码而不是一条一条来。from transformers import AutoTokenizer, AutoModel import torch tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) model AutoModel.from_pretrained(bert-base-uncased) def encode_diags_batch(diag_list, batch_size64): vectors [] for i in range(0, len(diag_list), batch_size): batch diag_list[i:ibatch_size] inputs tokenizer(batch, paddingTrue, truncationTrue, return_tensorspt) with torch.no_grad(): outputs model(**inputs) vectors.append(outputs.last_hidden_state[:, 0, :]) # CLS 向量 return torch.cat(vectors, dim0)同样的数据量批量编码比逐条编码快十倍以上。如果还是慢就把 batch_size 调大并把模型切到 eval 模式关掉梯度计算。5.4 训练 loss 变成 NaN现象训练到第 10 个 epochloss 突然变成 NaN之后所有指标消失。原因学习率太大导致梯度爆炸或者数据里有 NaN 值没有被处理。解决先检查数据再调学习率。import numpy as np # 检查输入数据中是否存在 NaN/Inf assert not np.isnan(features).any(), 输入特征中存在 NaN assert not np.isinf(features).any(), 输入特征中存在 Inf数据没问题就把学习率从 0.001 降到 0.0005或者在 LSTM 层后加梯度裁剪。torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)梯度裁剪是防守型手段真正原因大多数时候是数据预处理时没做缺失值填充。5.5 结果 CSV 文件名混淆跑完忘了是哪个模型现象results 目录下几十个 CSV训练完复盘时分不清哪个对应哪组参数。原因输出文件名靠命令行参数拼出来没有自动记录超参数。解决训练脚本里加配置快照把当前超参附加到 CSV 文件名后面。import json config { gcn_type: gat, task: ihm, hidden_dim: 128, lr: 0.001, gcn_layers: 2 } # 在训练开始时把配置存成 json with open(fresults/config_{timestamp}.json, w) as f: json.dump(config, f, indent2)从那以后我每次跑完一批实验都会把对应的 args.py 参数和 CSV 名称同步归档绝不只靠记忆。这个习惯救了我很多次尤其是当你同时跑六七个模型对比时靠名字记配置一定会翻车。6. 进阶用法把 LSTM-GNN 迁移到自己的数据并做显著性验证6.1 数据替换把 eICU 换成自己的 CSV资源附带的案例数据帮你把整条流程跑通了但你在毕业设计里大概率要用自己的数据。迁移的关键不是改模型而是把数据整理成 dataloader 能读的格式。核心是三张表时序特征表、静态特征表、标签表。时序特征表每条记录包含患者 ID、时间步、特征值静态特征表包含患者 ID 和诊断编码标签表包含患者 ID 和标签。只要你把数据整理成这三张表复用 eICU_preprocessing 的管线就可以完成对齐。# 自定义数据接入示例 import pandas as pd from src.dataloader import build_dataloader timeseries pd.read_csv(my_data/timeseries.csv) diagnoses pd.read_csv(my_data/diagnoses.csv) labels pd.read_csv(my_data/labels.csv) dataloader build_dataloader( timeseriestimeseries, diagnosesdiagnoses, labelslabels, taskclassification, # 分类任务 batch_size32 )我一般会把原来的 eICU 数据当作格式模板把自己的数据按相同字段名对齐这样连 dataloader 代码都不用改。第一次迁移时不要一上来就跑全量先取 100 个患者的数据跑通流程再逐步扩大。6.2 显著性检验不只是看 AUC 高低论文或大作业里对比模型不能只看 AUC 高 0.01 就说自己更强要做显著性检验。src/significance_testing 目录下就有现成的工具核心思路是对多个随机种子下的测试结果做配对检验。python src/significance_testing/run_test.py \ --baseline results/lstm_ihm.csv \ --method results/lstmgnn_gat_ihm.csv \ --metric auc \ --n_seeds 5如果 p 值小于 0.05才能说 LSTM-GNN 相对 LSTM 基线的提升是显著的。这个脚本的输出会同时给出均值、标准差和 p 值。做消融实验时每多一个变体如 no_diag、动态图都应该跑一遍显著性检验把结果表贴进论文附录比空口说“我们方法更好”有说服力得多。这份资源我从预处理看到结果 CSV最大的感受是它把 LSTM-GNN 从概念变成了能落地的主线流程尤其适合需要对比实验撑场面的课程设计和毕设场景。遇到问题别急着改模型先按第 5 章的顺序排查数据切分、图构建和路径配置。从那以后我每次新数据集都强制走一遍先确认分组切分再检查节点和边最后才允许自己碰超参。希望帮到你。本文还有配套的精品资源点击获取