基于文本分析的股票预测系统：NumPy手写RNN与BPTT实现

简介这是一份面向计算机相关专业毕业设计、课程设计与项目演示的股票预测系统实现资料基于文本分析与序列建模思想将舆情文本信号与股价走势预测相结合解决从文本数据到价格预测的端到端实现问题适合具备一定编程基础的学生、教师或从业者用于方案参考与二次开发。压缩包共18个文件主要包含5个Python源码文件、CSV数据文件、XML配置文件、Markdown说明文档以及docx设计报告整体仅288KB轻量紧凑便于快速部署与运行其中源码负责模型训练与预测数据文件提供输入样本文档支撑方案讲解。已有43人学习浏览。内容除核心预测代码外还包含利用NumPy实现RNN时间序列预测的参考脚本、爬虫工程骨架及一份仅供学习的设计报告有助于理清文本分析、特征构建与序列模型在金融数据上的落地流程也可为论文撰写与答辩准备提供素材。1. 基于文本分析的股票预测系统设计与实现NumPy 手写 RNN 才是核心做“基于文本分析的股票预测系统设计与实现”这个题目很多同学的第一反应是把文本扔给大模型、把价格扔给 Transformer结果几个月都跑不通。这套源码恰恰走了反方向文本部分用 CompanyScrapy 采集新闻公告预测部分用纯 NumPy 手写 RNN 做时间序列不依赖 TensorFlow/PyTorch也不依赖 GPU。它最大的价值是把“文本采集 → 情感特征 → 序列预测”这条链路完整地串了起来并且项目里自带了《设计报告-仅供参考学习.docx》答辩文档的底子都有了。适合三类人计算机、自动化、电子信息相关专业做课程设计或毕业设计的同学想在 NumPy 层面弄懂 RNN 前向传播和 BPTT 的初学者以及需要一份可运行 demo 做项目演示的从业者。有一点要提前说清楚这份代码不是为了证明“股票预测很准”而是为了让你理解整个系统的工程结构后文全是基于这个前提展开的。2. 文本数据采集与特征工程把股票新闻变成 RNN 能训练的张量2.1 文本分析的作用边界舆情得分是特征不是模型很多第一次接触这个题目的同学会误以为“文本分析”就是把新闻文字直接塞进预测模型。实际不是这样。RNN 的输入必须是数值张量文本必须先被转成某种序列化特征才能与收盘价、成交量这些价格特征拼接。这套项目里采用的做法是用 Scrapy 抓取目标公司的新闻和公告清洗之后做情感打分按交易日聚合成舆情得分序列再与价格序列一起进入 RNN。这里有一个特别容易翻车的坑文本特征和价格特征的时间对齐。股票交易日只有周一到周五新闻发布时间是自然日周末发布的利好如果直接落在下一周的行情里就会造成信息错位。我一般的做法是先把新闻时间戳映射到最近的交易日再做聚合保证“前一日舆情 当日开盘价”预测“当日收盘价”的因果关系是成立的。答辩的时候老师只要问你“文本特征和价格特征怎么对齐的”你能答出这一层就已经超过大多数只跑通代码的同学了。2.2 用 Scrapy 抓取新闻公告异常处理决定采集稳定性文本采集这块儿仓库里单独放了一个 CompanyScrapy 子项目。它具备常规 Scrapy 爬虫的三件套Spider 定义抓取规则、Item 定义字段结构、Pipeline 做清洗落盘。对于课程设计来说抓取的健壮性比覆盖率重要得多——管道的核心是“别崩、别丢数据、能断点续爬”。下面这段是常见写法和你拿到的代码结构基本一致import scrapy from scrapy.http import Request class StockNewsSpider(scrapy.Spider): name stock_news def start_requests(self): # 从一个发布公告列表页开始翻页最多抓取前 50 页 for page in range(1, 50): url fhttps://example.com/announcements?page{page} yield Request(urlurl, callbackself.parse, dont_filterFalse) def parse(self, response): for item in response.css(div.news-item): yield { code: item.css(span.code::text).get(), title: item.css(h3.title::text).get(), content: item.css(div.content::text).get(), publish_time: item.css(span.time::text).get(), }这里dont_filterFalse表示启用了 Scrapy 的 URL 去重过滤重复页面直接跳过能省不少带宽。解析字段中的code是股票代码title和content会进入后续情感打分环节publish_time是时间对齐的关键字段。采集频率建议通过DOWNLOAD_DELAY控制设成 1 到 2 秒比较稳妥单页抓太快反而容易被封。2.3 中文文本情感打分词典法比训练模型更可控文本转特征这一层仓库里没有给出很重的算法模块原因很简单对课程设计来说词典法远比训练一个情感分类模型更可控。你要在答辩现场解释的是一套能自洽的逻辑而不是“我跑了一个不知道内部怎么工作的黑匣子”。用情感词典给每条新闻算一个得分属于朴素但完整的情感分析方法老师挑不出硬伤。你把 jieba 分词、停用词过滤、正负词典打分三个环节写清楚系统的文本分析链路就闭合了import jieba import pandas as pd stop_words set(open(stopwords.txt, encodingutf-8).read().splitlines()) pos_words {上涨, 增长, 突破, 超预期, 利好, 盈利, 中标} neg_words {下跌, 亏损, 低于, 减持, 诉讼, 利空, 退市} def text_to_score(text: str) - float: words [w for w in jieba.lcut(text) if w not in stop_words] score 0.0 for w in words: if w in pos_words: score 1.0 elif w in neg_words: score - 1.0 return score # df 是爬虫落盘的 DataFrame按 stock_code publish_time 对齐 df[sentiment] df[content].apply(text_to_score) daily df.groupby(stock_code).resample(1D, onpublish_time)[sentiment].mean().fillna(0)分词环节的 stopwords 建议维护一套自己的停用词表股票公告里常见的“公司”“报告”“日期”全是中性词不剔除会稀释情感得分。正负词典也可以从小规模开始跑完一轮看预测效果再扩充词条。聚合方式上用mean比sum合理因为不同股票新闻数量差异很大求和会把被报道频次误当成情感强度这一点在比对多只股票时尤其致命。你后续如果想把系统升级成多模态情感分析也无非是在这个阶段再引入文本以外的图像或财务指标特征整体链路不需要改动。2.4 训练数据切片utils.py 中序列长度决定记忆窗口股价预测在这个项目里被建模成时间序列回归问题RNN 看到的不是一个点而是一段窗口。utils.py的主要职责就是读入股票 CSV、按窗口切分样本、做归一化。窗口大小通常称为时间步数它决定了模型能“回看”多长的历史。import numpy as np def create_sequences(data, seq_len10): xs, ys [], [] for i in range(len(data) - seq_len): xs.append(data[i:iseq_len]) ys.append(data[iseq_len]) return np.array(xs), np.array(ys) def normalize_window(window): min_v, max_v window.min(), window.max() if max_v - min_v 1e-9: return np.zeros_like(window) return (window - min_v) / (max_v - min_v)seq_len是一个需要手动调的参数。日线数据取 10 到 20 比较合适相当于两到四星期的交易窗口如果你拿的是分钟线窗口可以放大到 60。这里有一个常见错误用全局 min-max 做归一化把测试集的最大值混进了训练集虽然训练时 loss 很低但一上实时预测就崩。窗口内归一化能缓解这个问题因为它只依赖当前窗口的局部极值不泄露样本之外的未来信息。3. RNN 时间序列预测的 NumPy 实现三个脚本对比与 BPTT 拆解3.1 main.py、main_nobatch.py、main_noactivation.py三个变体各解决什么问题这套源码最值得研究的地方是同样一个 RNN 预测任务给了三个入口脚本。main.py是标准实现main_nobatch.py是把批量梯度下降改成逐样本更新main_noactivation.py则是把激活函数去掉。用表格看它们的差异最直观脚本关键差异训练速度预测效果适合场景main.py标准 RNN 全部样本轮次更新中等较好默认入口与最终演示main_nobatch.py每个样本单独更新权重明显变慢梯度震荡大观察在线学习收敛过程main_noactivation.py去掉 tanh 激活函数最快接近直线证明非线性结构的必要性实际操作时先用main.py把整个流程跑通再分别替换两个脚本做对照实验。这个对照组写进毕业设计“实验与分析”章节非常加分因为大多数同学只展示最终结果你能解释清楚每个变体为什么存在说明你真的吃透了代码结构。3.2 用 NumPy 手写 RNN 的前向传播RNN 的核心思想是维护一个隐藏状态h每个时间步用当前输入x[t]和上一个隐藏状态h[t-1]共同计算新的隐藏状态。这个项目里因为没有框架所有矩阵乘积和梯度更新都要自己写。一个最小可运行的 RNN 前向传播是这样的import numpy as np class NumpyRNN: def __init__(self, input_size, hidden_size, output_size): self.hidden_size hidden_size # 权重矩阵用小随机数初始化避免对称性问题 self.Wxh np.random.randn(hidden_size, input_size) * 0.01 self.Whh np.random.randn(hidden_size, hidden_size) * 0.01 self.Why np.random.randn(output_size, hidden_size) * 0.01 self.bh np.zeros((hidden_size, 1)) self.by np.zeros((output_size, 1)) def forward(self, xs): h np.zeros((self.hidden_size, 1)) self.hs {-1: h} for t in range(len(xs)): x xs[t].reshape(-1, 1) h np.tanh(self.Wxh x self.Whh h self.bh) self.hs[t] h y self.Why h self.by return y, hinput_size取决于特征维度如果只输入收盘价就是 1把舆情得分、成交量一并拼进来就是 3。hidden_size是隐藏层神经元数量股票这类高噪声数据不建议给太大16 到 64 足够大了容易把历史噪声也背下来。这里np.tanh是关键它把线性组合结果压到 -1 到 1 之间让网络具备非线性拟合能力这正是main_noactivation.py里被刻意去掉的东西。3.3 反向传播 BPTT梯度回传的逐时间步拆解反向传播是这个项目真正的难点。RNN 的反向传播叫 BPTTBackpropagation Through Time核心思路是把网络按时间展开从最后一个时间步往前逐个计算梯度。你需要维护一个“损失对隐藏状态”的梯度并沿着两层传播一层是当前输入占的Wxh另一层是上一时刻记忆占的Whh。def backward(self, xs, y_true, lr0.01): y_pred, _ self.forward(xs) loss 0.5 * (y_pred - y_true) ** 2 dLdy y_pred - y_true # 输出层梯度只与最后一个隐藏状态有关 dWhy dLdy self.hs[len(xs) - 1].T dby dLdy dh_next self.Why.T dLdy dWxh, dWhh, dbh np.zeros_like(self.Wxh), np.zeros_like(self.Whh), np.zeros_like(self.bh) for t in reversed(range(len(xs))): dh dh_next # tanh 导数为 1 - h^2 dh_raw (1 - self.hs[t] ** 2) * dh dbh dh_raw dWxh dh_raw xs[t].reshape(1, -1) dWhh dh_raw self.hs[t - 1].T dh_next self.Whh.T dh_raw # 梯度裁剪防止梯度爆炸 max_norm 5.0 for grad in [dWxh, dWhh, dWhy]: norm np.linalg.norm(grad) if norm max_norm: grad * max_norm / norm self.Wxh - lr * dWxh self.Whh - lr * dWhh self.Why - lr * dWhy self.bh - lr * dbh self.by - lr * dby return loss这里最容易被算错的地方是dh_raw (1 - self.hs[t] ** 2) * dh。如果是 tanh 激活导数就是 1 减输出平方如果你把 tanh 换成 sigmoid导数要变成h * (1 - h)公式一换整个梯度方向都会偏掉。我见过不少同学手写 RNN 训练不收敛最后发现都是因为拿 sigmoid 的导数套 tanh 的激活。dh_next self.Whh.T dh_raw这一步把当前时间步的误差传递给前一个时间步是 BPTT 累计梯度的关键少了它网络就学不到长距离依赖。main.py里如果加入了批量训练逻辑无非就是把多个样本的梯度求和取平均再更新一次权重噪声方差会比单样本更新小很多。3.4 超参数选择的实战经验学习率和隐藏层大小的配合跑这个项目时main.py中需要关注的超参数主要是学习率、隐藏层大小、训练轮数和时间步数。学习率是影响收敛稳定性最大的一个参数偏大导致 loss 像过山车一样震荡偏小导致几十轮训练都降不下去。一般可以从0.01起调如果训练一开始就发散就降到0.001。隐藏层大小决定模型的记忆容量但股票价格信噪比低隐藏层越大越容易过拟合建议从 32 开始网格搜索。训练轮数不要迷信越多越好用一个验证集看着 loss 到拐点就停。这些调参结论不会写在代码注释里但在运行main_nobatch.py时你会格外有体会——逐样本更新的情况下学习率必须调得更保守这也是为什么它默认设计成对比脚本而不是主入口。4. 复现避坑与参数排查六个高频问题逐个修正4.1 每次预测结果都不一样是不是模型不稳定现象同一份数据连续跑两遍预测曲线差异明显损失曲线走势也不同。原因RNN 权重用了np.random.randn随机初始化每次训练起点不同而股票预测的损失面高低不平模型收敛到不同局部最优。这在“预测股票涨跌”类项目里格外明显。解决在main.py入口最前面固定随机源注意同时固定 NumPy 和标准库 randomimport random import numpy as np np.random.seed(42) random.seed(42)注意所有随机操作之前都要先执行这段包括utils.py里数据切片的任何 shuffle。固定之后重复运行训练曲线就能完全复现了。4.2 训练 loss 下降预测曲线却像平移的直线现象画图时预测曲线和真实曲线形状很像但整体滞后了一天几乎就是“把昨天的价格复制到今天”。原因有两种常见情况一是归一化时用了全局最大值最小值测试集信息被偷偷塞进训练样本二是模型学到的只是“价格延续”损失已经很小但没有预测能力。解决改成窗口内归一化并把预测目标换成涨跌差分也就是diff[t] close[t1] - close[t]让模型学的是变化方向而不是绝对价格。这种修正之后模型必须真正利用历史形态才能降低 loss而不是偷懒复制。4.3 去掉激活函数后收敛极快但预测没用现象main_noactivation.py跑起来比main.py快得多loss 下降也快但预测图几乎是一条水平线。原因去掉 tanh 之后多层线性变换仍然等价于一层线性变换RNN 退化成一个线性自回归模型学不到非线性模式而股价波动恰恰是非线性的。解决用这个脚本做对照实验把它写成“实验一无激活函数模型”和“实验二含 tanh 激活函数模型”两组对比在论文中直接证明非线性结构对预测能力的必要性。4.4 文本情感特征加入后效果反而变差现象把舆情得分拼进输入特征预测误差反而比纯价格输入更大。原因词典打分是粗略文本特征噪声远大于价格序列的噪声模型很难判断不同新闻的权重差异相当于把噪声当信号学。遇到这种情况不一定是代码 bug是文本分析环节太平滑了。解决先对情感得分做指数平滑EMA过滤掉单日突变的异常舆情再用平滑后的特征与价格拼接。如果融合后准确率没有提升至少把两组实验数据都放进报告里对比说明。def ema_smooth(series, alpha0.3): smoothed [series[0]] for val in series[1:]: smoothed.append(alpha * val (1 - alpha) * smoothed[-1]) return np.array(smoothed)这里alpha取 0.2 到 0.4 之间比较平衡太小则平滑过头舆情信息被抹平太大则保留过多噪声。4.5 loss 突然变成 nan权重更新爆炸现象训练到某一步 loss 变成 nan打印权重发现出现极大正负值。原因BPTT 在时间步上连乘梯度幅值指数增长这就是梯度爆炸异常价格点会放大损失。解决梯度裁剪是最直接的手段把梯度向量范数限制到 5.0 以内同时把学习率调到 0.001 重新训练。如果数据集里有涨跌停导致的极端波动建议先把这些异常点位过滤掉再训练。4.6 历史拟合很好未来预测误差极大现象训练集上预测曲线贴合度高达百分之九十但往后预测 5 到 10 天方向经常反。原因典型的过拟合加分布漂移。RNN 把大量能力用来记忆训练集中的随机噪声没有捕获可迁移的规律而金融数据的统计特性又随时间变化。解决用滚动回测代替单段测试集每次用前 60 天训练预测下一天再滚动 30 次评价指标改用涨跌方向准确率而不是 MSE。如果方向准确率稳定在 55% 以上说明模型对趋势有真实信息提取能力如果只有 50%模型就基本没有方向判断力这个结论写进论文反而更诚实。5. 扩展验证用情感特征做对照实验把评价指标落到方向准确率5.1 构造价格与情感两组对照实验当你把main.py跑通、避坑点也修过一轮之后下一步就是把它变成一份有说服力的系统验证。我会做这样三组实验第一组只用收盘价第二组用收盘价加平滑后的情感得分第三组在第二组基础上把窗口从 10 调整到 15。三组模型用同一段测试数据统一用方向准确率评估。这样设置的好处是毕业后写设计报告时每一组实验都能对应一个明确的结论文本特征是否有效、窗口长度是否敏感。def direction_acc(pred, true, threshold0.005): pred_dir np.sign(np.diff(pred.flatten())) true_dir np.sign(np.diff(true.flatten())) # 过滤涨幅过小的横盘样本避免无意义的方向比较 mask np.abs(true_dir) threshold return np.mean(pred_dir[mask] true_dir[mask])threshold按数据量级调整日线股票用 0.005 到 0.01 比较合适太小会把横盘中的微小波动也算进去。5.2 滚动回测避免单段测试集的偶然性时间序列模型最怕拿一段运气特别好的测试集下结论。我会在股票数据末尾留出 30 个交易日做 walk-forward 回测从前面数据中取 60 天训练预测下一天然后把真实值滚入训练集继续预测循环 30 次。这个过程能直观看出模型在连续不同市场状态下的稳定性而不是只看某几天的巧合。for start in range(0, len(data) - 60 - 30, 5): train data[start:start60] test data[start60:start61] model.fit(train) current_input train[-seq_len:] # 用最近一个窗口作为预测输入 pred model.predict(current_input) actual test[0] results.append((actual, pred))这样跑出来的准确率如果依然在 55% 以上说明模型具备基础的序列模式记忆能力如果掉到 50% 附近就要回到第 2 章去调文本对齐或特征聚合而不是盲目调 RNN 结构。5.3 一个收尾习惯从那以后我每次拿到类似源码都会强制走一遍全套流程固定随机种子 → 检查时间对齐 → 用窗口内归一化 → 计算方向准确率 → 滚动回测。这五步做完代码能不能达到答辩标准、报告里能写什么结论我心里就有数了。这个项目真正值得你保存的价值不是它预测得多准而是它用纯 NumPy 把 RNN 的每个计算环节摊开给你看让你能亲手验证激活函数、批量训练、梯度裁剪这些概念到底在起什么作用。希望这份踩坑笔记能帮你在复现时少走几步弯路顺利把毕业设计闭环跑通。本文还有配套的精品资源点击获取