LSTM时序收益预测实战：从数据预处理到模型调参

简介面向希望用深度学习解决金融时序预测问题的Python开发者这份资源提供了一套完整的LSTM收益预测系统代码与配套资料。项目以大宗商品有色、化工、贵金属为实验对象覆盖数据预处理、模型构建、训练与评估全流程适合具备一定Python基础、想上手RNN/LSTM实战的读者。压缩包共55个文件以Python脚本、npy数据文件、xlsx原始表格、jpg训练与拟合曲线为主同时包含TensorFlow模型权重文件和操作文档整体仅2.27MB结构清晰便于按步骤复现。已有2911人学习下载。通过该资源读者可得到可直接运行的三个阶段性脚本配合操作文档中的排错思路和模型评估指标MAE、RMSE说明能够快速理解LSTM门控机制在时序预测中的应用并基于自带数据完成训练与结果可视化为后续迁移到股票等金融场景打好基础。1. LSTM时序收益预测为什么我建议从收益序列入手而不是猜价格很多刚接触LSTM的人上来就想直接预测明天的收盘价结果训练集上拟合得漂漂亮亮一到测试集就变成一条近乎平移的曲线完全失去参考意义。这个项目换了个思路——预测收益率而不是绝对价格并且把化工、有色、贵金属三个品种放在同一套代码里做对比实验。资源里包含完整的三段式Python脚本建数据、训练、预测、预处理好的npy数据、三个品种训练好的tf模型以及MinMaxScaler拿来就能复现也方便替换成自己的品种数据。适合正在做时间序列入门、想拿真实金融数据练手、或者已经跑通基础分类任务想往序列模型迁移的读者。下面按我实际复现的顺序把每一步的原理、参数设置和踩过的坑过一遍。2. 数据准备流水线从Excel原始行情到可训练的npy张量2.1 原始数据结构与收益率计算项目里给到的原始数据是data_化工.xlsx、data_有色.xlsx、data_贵金属.xlsx三个Excel另外还有一份大宗商品指数.xlsx。常见做法是每个Excel里放一张历史行情表至少包含日期、收盘价如果还有开盘价、最高价、最低价、成交量就更完整。读进来之后第一件事不是直接丢给LSTM而是先把价格序列转成收益率序列。import pandas as pd import numpy as np df pd.read_excel(data_化工.xlsx, index_col0) close df[close] # 简单收益率当天相对前一天的涨跌幅 ret close.pct_change().dropna() # 如果想用对数收益率统计性质更好用下面这行 # log_ret np.log(close / close.shift(1)).dropna()这里pct_change()默认计算的是简单收益率即(close[t] - close[t-1]) / close[t-1]返回的第一个值是NaN所以必须dropna()。为什么优先预测收益而不是价格因为价格序列通常是非平稳的带明显趋势和单位根特征LSTM拟合这种序列容易学到“把昨天的价格复制到今天”这种偷懒解收益率序列则在零附近波动分布更稳定模型需要真正去学涨跌规律。2.2 MinMaxScaler归一化先拟合训练集再变换测试集收益率序列虽然比价格稳定但直接喂给LSTM仍然不合适。LSTM内部用的是tanh和sigmoid激活函数输入范围太大或太小都会让梯度更新效率变差。这个项目用的是MinMaxScaler把数据压到0到1之间。注意一个关键原则归一化只对训练集做fit测试集只能transform不能重新拟合。from sklearn.preprocessing import MinMaxScaler import joblib ret_values ret.values.reshape(-1, 1) scaler MinMaxScaler(feature_range(0, 1)) ret_scaled scaler.fit_transform(ret_values) # 保存scaler预测阶段要反归一化还原 joblib.dump(scaler, models/MinMaxScaler_model.pkl)feature_range(0, 1)是把数据映射到0到1区间。reshape(-1, 1)是必须的因为sklearn的scaler要求输入是二维数组形状为(样本数, 特征数)即使只有一个特征也要显式声明。这里有个容易忽略的细节如果三个品种的数据差异很大我一般建议每个品种单独fit一份scaler并分别保存否则一个品种的极值会压缩另一个品种的数值分布。项目中只给了一个MinMaxScaler_model.pkl复现时先确认它是在哪个品种上训练的或者干脆按品种各存一份。2.3 滑动窗口构造与数据集切分LSTM不能像普通回归那样直接喂“今天一个样本、明天一个样本”它需要看到一段连续的历史。常见做法是用滑动窗口切数据比如用过去60天的收益率预测下一天的收益率。项目里的1data_create.py核心就是干这件事。def make_windows(data, look_back60): X, y [], [] for i in range(look_back, len(data)): X.append(data[i - look_back:i, 0]) y.append(data[i, 0]) return np.array(X), np.array(y) X, y make_windows(ret_scaled, look_back60) # LSTM输入要求三维样本数、时间步数、特征数 X X.reshape(X.shape[0], X.shape[1], 1) # 按时序切分前80%训练后20%测试不能随机打乱 split int(len(X) * 0.8) X_train, X_test X[:split], X[split:] y_train, y_test y[:split], y[split:] np.save(data/y_ys.npy, y_train) np.save(data/test_y_ys.npy, y_test)look_back60意味着每个样本包含60天的历史收益序列对应两个月的交易日。这个值不是拍脑袋定的可以理解为模型每次做判断时能看到的“记忆长度”太小学不到中期节奏太大则引入过多噪声。切分时特别强调不能随机打乱时序数据的测试集必须是时间上靠后的部分如果混入未来数据验证结果会虚高实盘部署时直接露馅。项目里的y_hg.npy、test_y_ys.npy就是各个品种切分后保存的标签文件pre_data.csv则是中间预处理结果的存档方便你不重新跑第一步也能直接进入训练。3. LSTM模型构建与训练两个LSTM层加Dropout的经典结构3.1 模型结构与参数说明这是整个系统里最核心的部分。项目里的2train.py构建的模型结构我复现时用的是经典的“双层LSTM Dropout 全连接输出”组合。第一层LSTM设置return_sequencesTrue因为需要向第二层LSTM输出完整的时间步序列第二层LSTM只返回最后一个时间步的结果然后接全连接层输出预测值。from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout model Sequential() model.add(LSTM(units64, return_sequencesTrue, input_shape(60, 1))) model.add(Dropout(0.2)) model.add(LSTM(units32)) model.add(Dropout(0.1)) model.add(Dense(units1)) model.summary()input_shape(60, 1)对应前面滑动窗口的look_back60和特征数1。两个LSTM层是64和32的units配置units越大模型容量越大但也越容易过拟合这三个品种的数据量不算大64起步是安全的。Dropout层的作用是随机丢弃一部分神经元的输出迫使模型不依赖某几个特定节点金融时序噪声大这层几乎是必需品。3.2 编译参数与训练流程模型构建完就要编译。损失函数用mse均方误差优化器用adam这两个是回归任务的默认配置。训练时项目里的logs目录分成了ys/train、hg/validation这种结构说明训练过程被完整记录了下来方便用TensorBoard看曲线。from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint model.compile(optimizeradam, lossmse, metrics[mae]) early_stop EarlyStopping( monitorval_loss, patience10, restore_best_weightsTrue ) ckpt ModelCheckpoint( fmodels/model_lstm_ys.tf, monitorval_loss, save_best_onlyTrue ) history model.fit( X_train, y_train, validation_split0.1, batch_size64, epochs100, callbacks[early_stop, ckpt] )patience10的意思是验证集loss连续10个epoch不下降就提前终止训练避免白跑后面的几十轮。restore_best_weightsTrue会在训练停止后把权重回滚到验证集表现最好的那个epoch。save_best_onlyTrue保证保存下来的模型始终是验证集最优版本而不是最后一个epoch的版本。batch_size64是一次性喂给模型的样本数内存够的情况下可以适当调大但注意batch太大容易收敛到尖锐的极小值泛化会变差。3.3 训练曲线怎么看损失下降与过拟合信号项目实验截图里那几张“模型训练曲线”图展示了train loss和validation loss的变化轨迹。健康的训练曲线应该是两条线一起下降然后各自趋于平稳最终validation loss比train loss略高一点点这是正常的泛化差距。如果train loss一路降到很低、validation loss却在中途掉头向上那就是典型的过拟合信号——模型把训练数据里的噪声背下来了。看曲线的时候还要留意loss是否出现突然的尖峰。收益序列里偶尔会有极端行情一个异常大的残差平方值会把loss顶上去随后又回落。这类尖峰本身不可怕但如果反复出现且居高不下说明数据里的离群值在持续干扰训练。项目里logs/ys、logs/hg这些目录下各有一组train和validation的日志记录可以结合它们复现整个训练过程的曲线对比三个品种的收敛速度差异——贵金属的波动通常比化工更剧烈验证集loss的绝对数值也会更高这是数据本身的特性不代表模型坏了。4. 预测与评估反归一化顺序错了预测曲线全是乱的4.1 加载模型与Scaler的配对关系训练结束后models目录下会生成model_lstm_*.tf格式的模型文件包括.index和.data-00000-of-00001两部分这是TensorFlow 2.x的SavedModel标准格式。预测阶段要同时加载模型和scaler两者必须配对使用。from tensorflow.keras.models import load_model import joblib model load_model(models/model_lstm_ys.tf) scaler joblib.load(models/MinMaxScaler_model.pkl) X_test np.load(data/X_test_ys.npy) # 训练阶段存好的测试输入这里最容易翻车的一点是模型是在归一化后的数据上训练的预测出的结果也停留在归一化后的范围里必须用训练时那个scaler还原才能拿到真实的收益率数值。如果训练时按品种分别保存了scaler加载时要严格对应如果共用了一个scaler务必确认它的数据范围涵盖当前品种。4.2 反归一化与真实值对比绘图项目里的3pred_test.py做的不只是跑一遍预测更关键的是把预测值和真实值画到同一张图上直观体现拟合效果。反归一化的顺序必须正确先predict再inverse_transform顺序反过来结果完全错乱。import matplotlib.pyplot as plt import numpy as np pred_scaled model.predict(X_test) # 反归一化把0~1区间的预测值还原成真实收益率 pred scaler.inverse_transform(pred_scaled.reshape(-1, 1)) y_test_real scaler.inverse_transform(y_test.reshape(-1, 1)) plt.figure(figsize(12, 5)) plt.plot(y_test_real, label真实收益率) plt.plot(pred, label预测收益率) plt.legend() plt.savefig(f收益率拟合曲线_ys.jpg)一个常见的低级错误是拿原始价格去反归一化。如果训练时喂的是收益率预测得到的也是收益率区间用价格scaler去还原曲线会整体偏移甚至出现荒谬的负价格。另一个常见问题是reshape(-1, 1)容易被忽略因为inverse_transform要求二维输入直接传入一维数组会报错或产生错位结果。从项目里的“收益率拟合曲线_有色”和“收益率拟合曲线_贵金属”这几张截图能看出曲线整体趋势对得上但波峰波谷幅度会有明显差异这是金融时序预测的常态不要指望LSTM能精确复现每一个波动。4.3 评估指标RMSE、MAE与方向准确率光看图不够还需要量化指标。回归问题最常用的两个指标是RMSE和MAE但对交易场景来说方向准确率往往更有参考价值——预测的收益率方向对不对直接决定了做多还是做空。from sklearn.metrics import mean_squared_error, mean_absolute_error rmse np.sqrt(mean_squared_error(y_test_real, pred)) mae mean_absolute_error(y_test_real, pred) # 方向准确率预测收益率的正负是否与真实一致 true_dir np.sign(y_test_real[1:] - y_test_real[:-1]) pred_dir np.sign(pred[1:] - pred[:-1]) direction_acc np.mean(true_dir pred_dir) print(fRMSE: {rmse:.4f}, MAE: {mae:.4f}, 方向准确率: {direction_acc:.2%})RMSE因为对误差做了平方运算对极端值更敏感指标会偏大MAE更稳健能反映平均偏离水平。方向准确率虽然不直接衡量误差大小但对交易决策最实用。三个品种里化工的RMSE通常最低贵金属因为波动大RMSE和MAE都会明显偏高这是数据本身的波动率不同导致的跨品种比较指标绝对值没有意义重点看单个品种内预测值和真实值的相对关系。5. 避坑指南三个品种实验踩出来的五个坑5.1 训练集和测试集共用一套Scaler导致数据泄漏现象测试集上loss特别低曲线拟合得几乎完美但把模型用到新数据上立刻拉胯。原因写代码时偷懒对完整序列一次性fit_transform测试集的均值和极值信息混进了训练过程相当于模型提前看到了“答案”的分布范围。解决严格按照先fit训练集、再transform测试集的顺序而且fit只能执行一次。我在复现时专门在代码里加了断言检查scaler的data_min_和data_max_是否在训练集上计算确保不会二次拟合。5.2 TensorFlow版本与tf模型加载不匹配现象训练完能正常predict换台机器重新加载时报错提示无法解析某个op或者UnknownError。原因.tf格式的SavedModel在不同TensorFlow小版本之间偶尔存在兼容性问题尤其是从2.4升到2.9之后部分序列化算子对不上。解决保存模型时记录下当时的TensorFlow版本号加载环境保持一致如果要在别的机器复现优先用pip install tensorflow相同版本固定环境。项目里还可以多存一份model.h5作为备份h5格式的跨版本兼容性通常更好。5.3 预测时输入序列与训练窗口长度不一致现象model.predict(X_test)报维度错误或者不报错但预测曲线整体向右偏移一天。原因训练时look_back60预测时如果只取最后10天或30天的数据去构造X形状对不上还有一种情况是窗口长度对了但步长没对上导致序列错位。解决不管训练还是预测都调用同一个make_windows函数并用X_test.shape[1]去核对是否等于模型input_shape的第二个维度。我习惯在预测脚本开头加一句assert model.input_shape[1] X_test.shape[1]不匹配就立刻停止而不是带着错位跑下去。5.4 收益序列里的极端值把训练loss顶飞现象训练曲线正常下降几个epoch后突然跳出一个尖峰loss瞬间升高好几倍然后又要花十几个epoch缓回来。原因大宗商品偶尔会有涨跌停或者极端行情pct_change()算出的收益率出现±20%甚至更夸张的离群点MSE对这类残差平方放大得很厉害。解决在归一化之前对收益率做截断winsorize比如把超过±10%的值强制设为±10%滤掉明显的异常冲击。ret_clipped ret.clip(lower-0.1, upper0.1)如果不想损失真实波动信息也可以换用Huber损失代替MSE它对离群点的敏感度更低训练过程会稳定不少。5.5 验证集loss不降反升学习率需要单独调现象训练一开始validation loss就在原地抖动甚至持续上升train loss却正常下降。原因Adam优化器默认学习率是0.001对输入范围本来就小的收益序列来说偏大梯度更新跨度过猛验证集上表现为震荡发散。解决把学习率降到0.0005或0.0001或者加上ReduceLROnPlateau回调让学习率在验证集loss停滞时自动衰减。from tensorflow.keras.callbacks import ReduceLROnPlateau reduce_lr ReduceLROnPlateau( monitorval_loss, factor0.5, patience5, min_lr0.00001 )这三个品种对学习率的敏感度还不一样我当时跑化工用0.001就挺稳换成贵金属就发飘最后是给每个品种单独配了学习率参数才把三条训练曲线都调顺。6. 进阶技巧把单品种调参经验沉淀成一套可复用流程项目能顺利跑通三个品种靠的不是每次手改代码而是把脚本里的硬编码全部参数化。我在复现时做了一个配置字典把每个品种的窗口长度、神经元数量、学习率集中管理训练和预测脚本都从这份配置里读参数。CONFIG { hg: {look_back: 60, units: 64, lr: 0.001, batch_size: 64}, ys: {look_back: 60, units: 64, lr: 0.0005, batch_size: 64}, gjs: {look_back: 90, units: 32, lr: 0.0005, batch_size: 32}, }这样做的直接收益是新增一个品种时只需要加一行配置和一个Excel文件数据生成、训练、预测三段代码一行都不用改。数据文件命名也统一成data_品种名.xlsx模型和Scaler同样按品种名区分彻底告别“复制一份脚本再改十几个变量”的模式。另一个值得尝试的用法是利用已有模型做继续训练。项目里保存了三个训练好的模型如果想在某个品种上追加最新数据可以直接加载老模型再model.fit几个epoch而不是从零开始训练。这是因为LSTM学到的序列特征在同类数据上有迁移价值冷启动的收敛速度会明显加快。我实际试过在化工模型基础上继续训练有色数据只跑了20个epoch就接近了从零训练50个epoch的效果前提是两者的时间窗口和归一化方式保持一致。复盘这个项目我最大的收获其实不是LSTM本身的原理而是建立了一套“先定配置、再生成数据、最后训练评估”的固定流程。最早我是每个品种临时改脚本结果有过一次把测试集混进训练集、还跑了一整晚才发现数据泄漏的经历从那以后我每次都强制自己按这套流程走先检查数据切分和归一化是否独立再确认模型输入形状和反归一化顺序最后才看训练曲线和评估指标。顺序反了后面的分析全是无用功。希望这份复现笔记能帮你在跑通代码的路上少走几个弯祝顺利。本文还有配套的精品资源点击获取