LSTM财务因子选股：从数据清洗到回测的完整指南

简介这是一份面向毕业设计场景的LSTM财务因子预测选股模型Python源码适合金融科技、人工智能及相关专业学生用于课程设计或毕业设计。项目基于历史财务因子与行情数据通过LSTM神经网络构建预测模型并附带MindGo平台接口脚本、MACD/RSI技术指标计算模块以及BP神经网络对比实现帮助学习者掌握从特征处理到模型训练、评估的完整流程。压缩包共14个文件主要包含7个Python脚本、1个项目介绍Markdown、1个运行说明TXT及TensorFlow模型权重文件等整体仅1.19MB结构紧凑便于快速下载与本地运行。源码已经过测试功能完整稳定支持直接演示与二次开发同时提供远程指导服务适合需要快速落地项目的初学者。目前已有40人学习下载感兴趣的同学可作为高起点参考。1. LSTM财务因子选股到底在做什么一个毕业设计顶三个方向的合流先说一个反直觉的结论用LSTM做财务因子选股真正让模型跑出收益的往往不是预测收益率这个数字有多准而是你把预测问题正确转成了排序问题——模型不需要精确说出某只股票未来涨多少只需要把涨得好的股票排在涨得差的前面组合就能赚钱。这是这个标题的核心逻辑也是很多照着LSTM源码复现却一直亏钱的人想不通的地方。毕业设计挂这个题目本质上是把三件事合到一起财务因子的数据工程、LSTM的时间序列建模、量化回测的评估方法。你既要有能力把财务报表里的原始字段整理成可用因子又要把因子序列喂进神经网络最后还得用一套回测框架证明这个模型真的能选股。这三块拆开都不算深合在一起就是一个标准的高分毕设结构——有数据、有模型、有实验对比、有工程落地。这篇文章面向的读者很明确准备做或正在做这个题目的本科生/研究生以及想用LSTM做量化选股的Python入门者。我会按一个可复现的完整流程来讲——从财务因子数据怎么拿、怎么清洗到LSTM模型结构和训练参数怎么设再到回测怎么跑、哪些坑一定会踩。直接对着做不需要额外看十几篇论文。2. 财务因子数据准备获取、清洗、标准化一步都不能省很多人在这个阶段就翻车了而且翻得很隐蔽——数据看起来都对模型也训练了但回测里赚的钱全部来自数据泄漏。财务数据的特点是低频、不规整、公告日和报告期错位严重这三条任意一条处理不好后面所有工作都没有意义。2.1 数据源选择与字段对齐公告日期和报告期完全是两回事做这个方向最常见的数据源是 Tushare、AkShare 这类 Python 接口不需要自己去爬财报。我的建议是直接用 Tushare 的 pro 接口财务指标字段齐全而且返回的 DataFrame 结构干净适合毕设这种规模的工程。拿到数据后要立刻区分两个日期字段ann_date公告日期和end_date报告期。举个最典型的例子一家公司 2024 年 8 月 30 日才发布 2024 年半年报end_date20240630那么这批财务数据在 8 月 30 日之前根本不存在于市场上你在做 7 月的选股时绝对不能用到它。import tushare as ts pro ts.pro_api(你的token) # 拉取全部A股的公司基础信息 stock_basic pro.stock_basic(list_statusL, exchange, fieldsts_code,name,industry,list_date) # 拉取利润表、资产负债表、现金流量表的核心字段 # 注意这里用 ann_date公告日期做过滤而不是 end_date income pro.income(ts_code000001.SZ, fieldsts_code,ann_date,end_date,revenue,operate_profit,net_profit,total_operate_revenue)这段代码的核心不是怎么调用接口而是你要把ann_date当成这个数据真正可用的时间点。后面做滑窗时样本的时间戳应该用ann_date不是end_date。很多公开源码包在这里偷懒直接用end_date对齐导致训练集和测试集之间混入了未来信息。2.2 特征工程因子列表与处理逻辑财务因子不用贪多812 个覆盖估值、盈利、成长、运营四个维度就够一个 LSTM 吃了。特征太多反而容易过拟合毕竟财务数据是季度频率样本量天然有限。维度因子名计算公式估值市盈率 PE收盘价 / 每股收益估值市净率 PB收盘价 / 每股净资产盈利ROE净利润 / 净资产盈利毛利率(营收 - 营业成本) / 营收成长营收同比增速(本期营收 - 去年同期营收) / 去年同期营收成长净利润同比增速(本期净利润 - 去年同期净利润) / 去年同期净利润运营资产负债率总负债 / 总资产运营每股经营现金流经营活动现金流净额 / 总股本因子加工有两条铁律。第一条是去极值财务数据里经常出现因为重组、会计调整导致的异常值比如净利润同比增速突然变成 3000%这种值不处理LSTM 的梯度直接炸掉。第二条是行业中性化银行的 PE 和互联网公司的 PE 没有可比性必须把每个因子减去行业均值、除以行业标准差。import pandas as pd import numpy as np def winsorize_series(s, n3): MAD缩尾用中位数和绝对偏差替代均值标准差抗异常值更强 median s.median() mad (s - median).abs().median() upper median n * 1.4826 * mad lower median - n * 1.4826 * mad return s.clip(lower, upper) def industry_neutralize(df, factor_col, industry_col): 行业中性化因子值减去行业均值除以行业标准差 df df.copy() grouped df.groupby(industry_col)[factor_col] df[factor_col _neutral] (df[factor_col] - grouped.transform(mean)) / grouped.transform(std) return df # 使用示例 factor_df[pe] factor_df[pe].apply(winsorize_series) factor_df industry_neutralize(factor_df, pe_neutral, industry)winsorize_series用的是 MAD 缩尾而不是 3σ 缩尾原因在于财务因子的分布往往不是正态的均值很容易被极端值带偏用中位数更稳。n3是常见设定你可以在 2.54 之间调整效果差异不大但会影响最终回测的稳定性。行业中性化做完后因子值代表的是公司在行业内相对水平这样 LSTM 学到的东西才具备跨行业可比性。2.3 滑窗样本构造与标签定义LSTM 需要序列输入所以要把截面数据重构成股票 × 时间步 × 特征的三维张量。财务数据是季度频率我的建议是滑窗长度取 812 个季度也就是两年的信息。太短学不到趋势太长把很久以前的财务状况也带进来了反而成为噪声。标签定义分两种。回归任务直接预测未来 20 个交易日的收益率分类任务把收益率按截面排序前 30% 标记为 1其余标记为 0。我强烈建议用分类——财务因子预测收益率的信噪比极低让模型直接回归一个具体数值它大概率学会输出一个接近均值的常数分类任务至少逼着模型去区分好坏。def build_sequence_samples(df, seq_len8, horizon20, label_typeclass): df: 按 ts_code, trade_date 排序的因子面板数据 seq_len: 滑窗季度数 horizon: 未来交易日收益窗口 label_type: class 分类 或 reg 回归 samples, labels [], [] for ts_code, grp in df.groupby(ts_code): grp grp.sort_values(ann_date) # 关键按公告日期排序 factor_cols [c for c in grp.columns if c.endswith(_neutral)] for i in range(len(grp) - seq_len - 1): seq grp.iloc[i:iseq_len][factor_cols].values # 未来收益从当前公告日之后第1个交易日开始算起 future_ret grp.iloc[iseq_len1][fut_20d_ret] if np.isnan(future_ret): continue if label_type class: labels.append(1 if future_ret grp[fut_20d_ret].median() else 0) else: labels.append(future_ret) samples.append(seq) return np.array(samples), np.array(labels)horizon20对应大约一个自然月的持有周期这是财务因子选股最常见的调仓频率。注意循环里的边界处理range(len(grp) - seq_len - 1)少取了一个是为了给未来收益留出至少一个样本的位置工程上避免索引越界。label_typeclass时用截面中位数作为阈值而不是固定 0因为市场整体涨跌会导致标签分布偏移。3. LSTM模型的结构设计与训练配置参数不是玄学是有依据的选择LSTM 在这个任务里不是越深越好。财务数据的样本量撑不起一个五六层的深网络而且因子之间本身相关性就很强复杂模型学到的大部分是噪声。我见过很多毕设源码把模型堆得很厚回测曲线漂亮得像一条直线——大概率是过拟合了换一段样本期就露馅。3.1 输入输出形状设计谁做时间步谁做特征维度输入张量的形状是(batch_size, seq_len, n_features)。seq_len8是时间步n_features是你保留的因子数量约 10 个左右。很多人第一次写 LSTM 会问为什么不是(batch_size, n_features, seq_len)因为 PyTorch 的nn.LSTM默认接收的时间维在第一维之后即(seq_len, batch, input_size)。你通过batch_firstTrue把 batch 提到最前面剩下的顺序就是(batch, seq, feature)。关键理解每个时间步输入的是某一天的全体因子向量LSTM 在seq_len个时间步上滚动最终输出最后一个隐藏状态再接全连接层做分类或回归。财务因子的时间步顺序是季度不是交易日——这个别搞混了。3.2 模型结构单层还是双层hidden_size 怎么定一个可以做 baseline 的结构是单层 LSTMhidden_size64后接一个 Dropout0.3再接一个全连接层输出分类 logits。为什么是 64因为输入特征本身只有十来个维度隐藏单元过少学不到非线性关系过多则容易过拟合——64 在这个规模下是一个不容易出错的起点。import torch import torch.nn as nn class LSTMPredictor(nn.Module): def __init__(self, n_features, hidden_size64, num_layers1, n_classes2, dropout0.3): super().__init__() self.lstm nn.LSTM( input_sizen_features, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0.0, bidirectionalFalse ) self.classifier nn.Sequential( nn.Dropout(dropout), nn.Linear(hidden_size, n_classes) ) def forward(self, x): # x: (batch, seq_len, n_features) out, (h_n, c_n) self.lstm(x) # 取最后一个时间步的隐藏状态 h_n[-1]: (batch, hidden_size) last_hidden h_n[-1] logits self.classifier(last_hidden) return logits我一般不推荐在这个任务上用双向 LSTM。原因很简单财务因子的时间方向是有实际意义的——过去影响未来未来不影响过去。双向结构虽然在很多 NLP 任务上有效但在这里它把一个因果问题硬生生变成了非因果问题等于引入了未来信息。bidirectionalFalse不是默认值的妥协是刻意为之。如果你觉得单层表达力不够优先把hidden_size从 64 提到 128而不是直接加层。加层带来的收益在这个数据规模下基本都被过拟合吃掉了参数却翻了一倍。3.3 损失函数、优化器与早停训练配置才是真正影响结果的地方损失函数的选择要跟标签定义对齐。分类任务用nn.CrossEntropyLoss回归任务用nn.MSELoss。优化器我固定用 Adamlr1e-3weight_decay1e-5。这里有个容易被忽略的点分类任务的类别不平衡。你用截面中位数切标签理论上正负样本各一半但如果某段时期市场单边上涨正样本比例会明显偏高。所以CrossEntropyLoss里应该传入weight参数按类别的逆频率加权。def train_model(model, train_loader, val_loader, epochs50, lr1e-3): # 类别权重样本少的类别给更高的loss权重 class_counts np.bincount(train_loader.dataset.tensors[1].numpy()) class_weights 1.0 / (class_counts 1e-6) class_weights torch.tensor(class_weights, dtypetorch.float32) criterion nn.CrossEntropyLoss(weightclass_weights) optimizer torch.optim.Adam(model.parameters(), lrlr, weight_decay1e-5) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, modemin, factor0.5, patience5) best_val_loss float(inf) best_state None patience_counter 0 for epoch in range(epochs): model.train() train_loss 0.0 for batch_x, batch_y in train_loader: optimizer.zero_grad() logits model(batch_x) loss criterion(logits, batch_y) loss.backward() # 梯度裁剪防止loss spike torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() train_loss loss.item() model.eval() val_loss 0.0 with torch.no_grad(): for batch_x, batch_y in val_loader: logits model(batch_x) val_loss criterion(logits, batch_y).item() train_loss / len(train_loader) val_loss / len(val_loader) scheduler.step(val_loss) if val_loss best_val_loss: best_val_loss val_loss best_state {k: v.clone() for k, v in model.state_dict().items()} patience_counter 0 else: patience_counter 1 if patience_counter 10: print(fEarly stop at epoch {epoch}) break model.load_state_dict(best_state) return model早停的 patience 设 10表示验证集 loss 连续 10 个 epoch 不下降就停。这个数字是个人习惯你可以缩到 5——财务数据噪声大验证集 loss 经常反复震荡太小的 patience 容易在真正收敛前就停下。ReduceLROnPlateau的factor0.5表示验证 loss 停滞时学习率减半patience5表示等 5 个 epoch 才减避免被单次波动误触发。梯度裁剪max_norm1.0是 LSTM 的必需品。财务因子经过缩尾后虽然极端值少了但序列内部仍然可能产生较大的梯度累加不裁剪的话训练到中途 loss 突然变成 NaN 的概率很高。4. 从预测到选股回测流程与调参优先级模型训练完不是结束而是刚开始。很多毕业设计卡在这一步模型预测出来了但不知道拿它干什么。LSTM 输出的 logits 本身没有业务含义你要的是选哪些股票这个决策结果。4.1 预测结果怎么变成选股组合截面排序法标准做法是截面排序。在每个调仓日比如每月最后一个交易日取出全市场所有股票在这个时点可用的财务因子序列喂进训练好的 LSTM得到每只股票属于未来跑赢中位数的概率。按概率从高到低排序取 top 10% 或前 30 只等权买入。def select_stocks(model, factor_panel, top_k30): 在某个调仓日对全市场股票做预测并选股 factor_panel: 每只股票最近seq_len期的因子序列 model.eval() scores {} with torch.no_grad(): for ts_code, seq in factor_panel.items(): # seq: (seq_len, n_features) - (1, seq_len, n_features) tensor torch.tensor(seq, dtypetorch.float32).unsqueeze(0) logits model(tensor) # 取正类概率作为选股分数 prob torch.softmax(logits, dim1)[0, 1].item() scores[ts_code] prob # 排序取前top_k selected sorted(scores.items(), keylambda x: x[1], reverseTrue)[:top_k] return [ts_code for ts_code, _ in selected]正类概率在这里充当综合得分。用softmax归一化而不是直接用 logits好处是分数天然落在 01 之间不同模型版本之间的输出可比性好。top_k30的理由是组合层面分散掉个股风险毕设规模下用 2050 都是合理的。4.2 回测评估不要只看总收益看 IC 和分层回测最忌讳只看一条净值曲线就说模型有效。财务因子预测任务里总收益曲线受市场 beta 影响极大——你选出来的股票可能只是恰好高 beta涨的时候跟涨多跌的时候跟跌也多。需要用两个更细的指标IC信息系数是预测分数与未来收益的 Spearman 秩相关系数衡量排序能力RankIC 同理。IC 的绝对值在 0.030.05 以上就说明模型有真实预测力如果稳定在 0.01 以下净值曲线再漂亮也是运气。from scipy.stats import spearmanr def calculate_ic(pred_scores, future_returns): 计算每日/每期的IC值 pred_scores: dict {ts_code: 预测分数} future_returns: dict {ts_code: 未来20日收益} common set(pred_scores.keys()) set(future_returns.keys()) if len(common) 5: return 0.0 scores [pred_scores[c] for c in common] returns [future_returns[c] for c in common] ic, _ spearmanr(scores, returns) return ic调仓一次算一个 IC把一年 12 次调仓的 IC 求均值就是模型的月度平均 IC。这个数字写进毕业设计的实验结果里比净值曲线有说服力得多。IC 为正只能说明模型有选股能力还需要验证分数高的股票的收益是否真的高于分数低的这就是分层回测——把全市场按预测分数分成 5 层每层等权组合看收益是否单调递增。单调性才是证明模型价值的核心证据。4.3 调参优先级样本长度 特征数量 网络结构关于调参我给你一个明确的优先级顺序省得对着网格搜索消耗时间第一优先数据质量。ann_date对齐对不对、有没有剔 ST、新上市股票有没有过滤、因子有没有行业中性化。这些问题任何一个出错调什么超参都没用。第二优先标签构造方式。分类 vs 回归、持有期是 20 天还是 60 天、标签切分阈值是前 30% 还是前 20%。改标签比改模型带来的收益变化大得多。第三优先滑窗长度和因子数量。然后才是hidden_size、num_layers、dropout、lr这些模型超参。我自己做的时候有个执念先跑一个最简单的单层 LSTM 8 个因子的 baseline确认正向 IC 存在之后再逐步加因子、调结构。如果 baseline 的 IC 是负的说明数据或标签环节有问题模型层面调再久都是在浪费时间。5. LSTM财务因子模型的踩坑排查指南从训练到回测的四个事故现场这一章是血泪经验的汇总。我按四年多在这个方向上的翻车记录挑四个最常见、也最隐蔽的问题。每个都按「现象→原因→解决」写你可以直接对照排查。5.1 训练时 loss 突然变成 NaN 或 inf现象前几个 epoch 的 loss 正常下降突然某一个 batch 的 loss 变成nan之后再也回不来。原因分析最常见的原因是学习率太大梯度更新迈过了一个陡峭区域数值溢出其次是数据里有极值——虽然做了 MAD 缩尾但缩尾是在全样本上做的预测时新来的数据可能超出训练时的截断范围。解决把lr从1e-3降到3e-4同时加上clip_grad_norm_。如果还炸检查输入张量里是否有NaN——用torch.isnan(x).any()打点观察。财务数据从数据库导入时缺失值处理不干净是高频事故缺失值填充必须在构建滑窗之前完成而不是在滑窗之后否则填充用的均值包含了未来信息。5.2 预测值集中在中位数附近好股票和坏股票分不开现象模型训练完成验证集准确率有 60% 左右但画出预测分数的分布发现所有股票的分数挤在 0.450.55 之间排序结果接近随机。原因分析这是典型的标签噪声过大导致的欠拟合。财务因子对 20 日收益的预测能力本来就弱模型发现猜中位数的 loss 最低就学会了偷懒。这种情况在回归任务里表现为预测值全部逼近均值在分类任务里表现为输出概率全部逼近 0.5。解决换成分类任务并调整标签定义把正样本从前 30%改为前 20%提高任务难度区分度。同时检查因子处理如果所有因子都做了行业中性化且没有做标准化模型收敛会很慢。在送入 LSTM 之前每个因子都要再做一个 z-score 标准化让输入分布均值为 0、方差为 1。5.3 回测收益虚高但实盘或样本外一塌糊涂现象回测曲线年化收益 30% 以上看起来完美但换一段样本时间比如从 2022 年改成 2019 年预测能力消失或者换成模拟盘后完全不灵。原因分析这不是模型过拟合的问题是数据泄漏的问题。最典型的就是因子值用了end_date对齐而不是ann_date。比如 2024 年 4 月 30 日的调仓你用了end_date为 2024 年 3 月 31 日的财报数据——但这份财报可能到 4 月 26 日才公告回测代码如果按end_date匹配就会在 4 月中旬的某个调仓日提前用上 4 月底才公布的数据。回测世界里时间可以倒流实盘不会。解决从回测的股票池改为只保留ann_date早于调仓日的财报。这个过滤条件要在数据处理的最早期完成而不是在回测循环里临时判断。第二个泄漏点是未来收益的计算起点调仓日是 T你按 T1 收盘买入那么未来收益应该是 T1 到 T21 的收益不是 T 到 T20。差一天的收益率在强趋势市里能差出好几个点。5.4 回测年化收益很高但逐月净值波动剧烈现象总体收益很漂亮但看月度回报经常是一个月赚 15%、下个月亏 12%最大回撤超过 40%。这种模型做出来的净值曲线乍看有吸引力实则没有任何实战意义。原因分析持仓过度集中、选股分数区分度不足。top_k设为 10 或更少时单只股票的暴雷会直接拖垮整个组合或者你的预测分数其实在中位数附近挤成一团排在前面的股票之间没有显著区分选出来接近随机波动自然大。解决top_k至少 30并且加入行业约束——同一行业持仓不超过 5 只。回测里加上千分之二的手续费和千分之一的滑点多看看波动率和最大回撤而不是只盯年化收益。如果加了行业约束后收益明显下滑说明模型原来的收益来源恰好是行业集中度过高——这不是模型能力是风格暴露。6. 验证模型没白做的三个实用技巧让毕设经得起追问做到这一步你的毕设已经有完整闭环了数据处理→模型训练→回测评估。但答辩老师一定会问一个问题你怎么证明这个模型不是过拟合历史这个问题答得好项目就从完成变成优秀。6.1 滚动训练 延迟发布模拟真实交易节奏不要用一次训练好的模型跑完全部回测区间。把回测区间按调仓周期切段每段只用该时点之前的数据训练模型然后用模型预测下一个调仓日。比如 2022 年全年回测每个月调仓一次就是 12 次重训。def rolling_backtest(all_data, train_window_months24, retrain_every1): 滚动训练回测 all_data: 按日期排序的全市场面板数据 train_window_months: 训练窗口长度月 retrain_every: 每隔几个月重训一次 results [] current_idx train_window_months while current_idx len(all_data): train_df all_data.iloc[current_idx - train_window_months:current_idx] test_df all_data.iloc[current_idx:current_idx retrain_every] if test_df.empty: break # 训练模型 model train_on_window(train_df) # 在test_df上选股并计算收益 port_ret backtest_one_period(model, test_df) results.append(port_ret) current_idx retrain_every return results滚动训练的价值在于每次模型的预测都严格基于过去已有的信息不存在用未来训练、预测过去的逻辑漏洞。这比一刀切地划分训练集和测试集更贴近真实交易答辩时讲这个思路比讲我用了 80% 数据训练、20% 测试显得专业得多。6.2 用分层回测代替全样本回测全样本回测只能告诉你这个模型能不能赚钱分层回测告诉你这个模型是不是真的在按预测分数排序。把每个调仓日的股票按预测分数分成 5 组Quintile分别计算每组的平均收益然后看 Q5分数最高组的收益是否稳定高于 Q1。这个验证方法有一个额外收获如果 Q5 和 Q1 的收益差没有单调性——比如 Q3 收益最高、Q5 反而低了——说明模型学到了非线性关系但排序能力不稳需要检查标签构造或训练收敛状态。6.3 保存模型参数和因子数据版本让实验可复现毕设过程中你会改无数次因子列表和模型结构如果每次实验都覆盖保存最终复盘时会发现之前那个效果好的版本怎么调不回来了。我一般用torch.save保存完整参数同时在文件名里带上数据版本号和日期torch.save(model.state_dict(), flstm_{data_version}_{date}_hidden64_seq8.pth)数据版本号对应因子处理脚本的 git commit hash这样每次实验都能追溯到用了哪批数据、哪些因子、什么模型结构。这事看起来是工程习惯但在写毕业论文的实验对比章节时你会感谢当时的自己——对比表格需要你精确说出每个版本的差异而不是靠记忆。最后说一个我自己的教训做这个题目的人很容易沉迷于调模型总想着换个更好的网络结构就能多赚几个点收益。但实际上同一个模型在数据处理差和数据处理好两套流程下回测结果可以差出一倍。数据工程在这个项目里占 70% 的贡献度LSTM 本身只是那个消费数据的工具——先花大力气把数据做干净比什么都重要。希望帮到你做出一份经得起老师追问、也经得起实盘检验的毕设作品。本文还有配套的精品资源点击获取