从零构建股票回测系统：架构设计、成交模拟与绩效分析实战

1. 为什么我要自己搭一套回测系统1.1 从一次“看起来很美”的策略说起几年前我拿到一份某平台导出的策略回测报告年化收益曲线平滑得像用尺子画出来的最大回撤不到8%。我当时兴奋得不行直接拿真金白银上了实盘结果三个月亏掉了本金的四分之一。事后复盘才发现那份报告里藏着几个致命问题用的是未来函数、手续费按万分之零点五算、停牌股票直接跳过不计算流动性冲击。换句话说那份报告不是骗我是我自己没看懂它的假设。这件事之后我下定决心回测这件事必须自己掌控。不是说不信任第三方平台而是只有自己搭的系统你才清楚每一个数字是怎么算出来的。股票策略回测系统说白了就干一件事拿历史数据按你定义的规则模拟买卖最后告诉你这套规则如果放在过去会赚多少钱、亏多少钱、中间有多难受。听起来简单但魔鬼全在细节里。这套系统适合谁如果你已经开始写策略信号但还停留在“用Excel手动算收益”的阶段那这篇文章就是给你写的。如果你已经用过现成的回测框架但总觉得结果不对劲想搞清楚底层逻辑同样适用。我不假设你会写很复杂的代码但至少要能看懂Python知道什么是DataFrame。1.2 自建回测系统的三个核心价值第一个价值是透明。每一笔交易的成交价怎么来的、手续费扣了多少、滑点怎么模拟的你都能在代码里找到对应行。第三方平台给你一个结果自建系统给你一个过程。第二个价值是可定制。A股有涨跌停、有T1、有停牌这些规则在通用框架里往往要绕很多弯才能实现。自己搭的话想怎么改就怎么改。比如我想模拟“涨停板买不进去”这个场景只需要在成交判断里加一行条件。第三个价值是可复现。你今天跑出来的结果三个月后换台机器跑结果应该一模一样。这要求你对数据版本、随机种子、计算顺序都有严格控制。自建系统天然具备这个能力。注意自建回测系统不等于自己造轮子。数据获取、指标计算这些基础工作完全可以借助成熟库你要自己掌控的是回测引擎的核心逻辑——成交模拟、资金管理、绩效统计。2. 整体架构设计与技术选型2.1 一条完整链路应该长什么样我把整个系统拆成五层从下到上依次是数据层、策略层、回测引擎层、绩效分析层、展示层。每一层只和相邻层交互这样任何一层出问题都不会污染其他层。数据层负责把原始行情数据清洗成统一格式。策略层是你写买卖逻辑的地方只输出信号不碰钱。回测引擎层是核心它拿着信号和行情模拟每一笔成交维护账户余额和持仓。绩效分析层拿成交记录算夏普、最大回撤、胜率这些指标。展示层把结果画成图或者导出表格。这个分层的好处是你想换数据源只动数据层想加一个新指标只动绩效层。我见过很多人把所有逻辑塞在一个巨大的循环里改一个地方崩三个地方那种代码活不过三个月。2.2 为什么选Python而不是C或Java回测系统的性能瓶颈通常在两个地方数据读取和循环计算。对于日频策略一只股票十年的数据也就两千多行全A股五千只股票加起来一千万行左右用Pandas处理完全够用。Python的生态太强了数据清洗有Pandas数值计算有NumPy画图有Matplotlib这些库省下来的时间够你多写十个策略。有人会说Python慢。确实如果你做分钟级甚至Tick级回测Python的循环会成为瓶颈。但那种场景下正确的做法是用向量化操作替代循环或者把核心循环用Numba加速。我实测过用Numba加速后的Python回测引擎处理分钟级数据的速度和C差距在可接受范围内。至于backtrader这类现成框架我的建议是先自己写一遍简版再用框架。自己写一遍你才知道回测引擎里有哪些坑用框架的时候才知道哪些参数该调、哪些默认值不能信。我见过太多人直接用backtrader默认配置跑A股策略结果被复权处理和手续费默认值坑得死去活来。2.3 数据结构的核心设计整个系统里最重要的数据结构是一张“行情表”和一张“成交表”。行情表至少包含这些列日期、股票代码、开盘价、最高价、最低价、收盘价、成交量、复权因子。成交表至少包含成交日期、股票代码、买卖方向、成交价格、成交数量、手续费、滑点成本。这里有个关键决策用宽表还是长表。宽表是每行一个日期每列一只股票的收盘价长表是每行一条记录包含日期和股票代码。宽表看起来直观但股票数量多了之后列数爆炸而且停牌股票会产生大量NaN。长表更灵活适合多股票回测但取某一天所有股票的数据需要groupby操作。我的选择是数据存储用长表策略计算时按需转宽表。这样既保证了存储效率又兼顾了计算便利。具体来说原始数据存成Parquet格式的长表策略初始化时把需要的股票数据pivot成宽表回测结束后再把成交记录存回长表。3. 数据获取与清洗的实操细节3.1 免费数据源的获取与拼接做A股回测数据来源无非几个Tushare、AkShare、Baostock或者自己从券商软件导出。我目前主力用AkShare原因是它完全免费、接口稳定、更新及时。Tushare的Pro版需要积分对于个人开发者来说门槛略高。获取日线数据的核心代码大概长这样import akshare as ak import pandas as pd # 获取单只股票前复权日线 df ak.stock_zh_a_hist(symbol000001, perioddaily, start_date20180101, end_date20231231, adjustqfq) df df.rename(columns{ 日期: date, 开盘: open, 收盘: close, 最高: high, 最低: low, 成交量: volume }) df[date] pd.to_datetime(df[date]) df df.set_index(date).sort_index()这段代码有几个坑。第一adjustqfq表示前复权但前复权的价格会随着新的分红送股而变化意味着你三个月前下载的数据和今天下载的数据可能不一致。解决办法是每次回测前重新拉取全量数据或者记录复权因子自己计算。第二AkShare的接口偶尔会限流批量下载几千只股票时需要加延时和重试机制。我通常的做法是维护一个本地数据仓库每天收盘后增量更新。增量更新的逻辑是读取本地最新日期只拉取该日期之后的数据然后append。这样既快又不容易触发限流。3.2 数据清洗的五个关键步骤原始数据拿到手不能直接用至少要做五件事。第一处理停牌。停牌期间没有成交但你的持仓还在。如果回测时直接跳过停牌日会导致持仓天数计算错误。我的处理方式是保留停牌日的记录但把成交量设为0回测引擎遇到成交量为0时不允许成交。第二处理涨跌停。A股涨跌停时理论上无法成交但很多回测系统默认按收盘价成交这会严重高估收益。我的处理方式是如果当日收盘价等于涨停价且策略信号是买入则这笔交易失败反之跌停时卖出失败。涨停价的计算要考虑ST股票5%和科创板20%的区别。第三处理除权除息。如果你用的是不复权价格分红送股那天价格会跳空导致虚假的巨额亏损。必须用复权价格或者自己根据复权因子调整持仓数量。第四对齐交易日历。不同股票停牌日期不同直接合并会产生大量缺失值。正确做法是先获取交易所的交易日历把所有股票数据reindex到这个日历上缺失值用前向填充处理价格但成交量填0。第五剔除异常值。有些股票会因为数据源问题出现价格突然变成0或者翻倍的情况。简单的办法是检查日收益率超过涨跌停限制的标记为异常用前后均值替换。实操心得数据清洗阶段一定要做可视化检查。我习惯随机抽十只股票把收盘价曲线画出来肉眼扫一遍。很多数据问题看图比看数字更容易发现。3.3 数据存储格式的选择CSV适合小数据量但读取慢、占空间。HDF5读写快但并发支持差。Parquet是目前我最推荐的格式压缩率高、读取速度快、支持列式存储。同样一千万行数据CSV大概500MBParquet压缩后不到100MB读取速度快三到五倍。存储结构上我按年份分文件比如data/2020.parquet、data/2021.parquet。这样增量更新时只需要重写最新年份的文件历史文件不动。查询时用Pandas的read_parquet配合filters参数只加载需要的日期范围和股票代码。4. 回测引擎的核心实现4.1 事件驱动还是向量化回测引擎有两种主流架构事件驱动和向量化。事件驱动是模拟真实交易每来一根K线触发一次计算逻辑清晰但速度慢。向量化是把所有信号一次性算出来然后用矩阵运算模拟成交速度快但逻辑绕。我的选择是混合架构信号生成用向量化成交模拟用事件驱动。具体来说先用Pandas计算出所有买卖信号存成一个信号表然后写一个循环按日期遍历信号表逐笔模拟成交。这样既利用了Pandas的向量化计算能力又保证了成交逻辑的清晰可控。对于日频策略这个架构处理五千只股票十年的数据大概需要三到五分钟。如果嫌慢可以把循环用Numba加速能压到三十秒以内。4.2 成交模拟的六个关键参数成交模拟是回测引擎最核心的部分直接决定回测结果的真实性。我总结了六个必须显式设置的参数。成交价格用开盘价、收盘价还是均价我的默认选择是次日开盘价。原因是你今天收盘后算出信号最早也只能明天开盘才能下单。用当日收盘价成交是典型的未来函数。手续费A股目前是万分之一到万分之三最低五元。卖出时还有千分之一的印花税。很多人回测时忘记算最低五元导致小资金策略收益虚高。滑点真实成交价和理论价格之间的差距。对于流动性好的大盘股滑点可以设0.1%小盘股设0.2%到0.5%。滑点通常按成交金额的百分比计算。成交量限制不能假设你的订单能吃掉全市场的成交量。我的做法是限制单笔成交不超过当日成交量的1%。超过部分要么拆分到后续交易日要么直接放弃。涨跌停限制如前所述涨停买不进、跌停卖不出。T1限制A股当天买入的股票当天不能卖出。这个规则在回测引擎里体现为买入信号触发后持仓数量增加但可卖数量要等到下一个交易日才更新。下面是一个简化的成交模拟代码片段def execute_order(date, code, direction, price, volume, cash, position, params): # 检查涨跌停 if direction buy and is_limit_up(date, code): return cash, position, None if direction sell and is_limit_down(date, code): return cash, position, None # 检查成交量限制 market_volume get_market_volume(date, code) max_volume market_volume * params[volume_limit] volume min(volume, max_volume) # 计算滑点 slippage price * params[slippage] exec_price price slippage if direction buy else price - slippage # 计算手续费 turnover exec_price * volume commission max(turnover * params[commission_rate], 5) if direction sell: commission turnover * params[stamp_tax] # 更新资金和持仓 if direction buy: cost turnover commission if cost cash: return cash, position, None cash - cost position[code] position.get(code, 0) volume else: cash turnover - commission position[code] - volume return cash, position, { date: date, code: code, direction: direction, price: exec_price, volume: volume, commission: commission }4.3 资金管理与仓位控制回测引擎里另一个容易出错的地方是资金管理。常见的有三种模式固定金额、固定比例、波动率倒数。固定金额是每次买入都投同样的钱比如每次十万。这种模式简单但资金增长后仓位占比越来越小收益会被稀释。固定比例是每次买入当前总资产的固定百分比比如20%。这种模式能实现复利但回撤时也会加速亏损。波动率倒数是根据股票近期波动率调整仓位波动大的少买波动小的多买。这种模式更精细但需要额外计算波动率。我的默认选择是固定比例加最大持仓数限制。比如每次买入总资产的10%最多同时持有10只股票。这样既实现了分散又避免了过度集中。还有一个细节买入数量必须是100股的整数倍。A股最小交易单位是一手即100股。回测时如果不做这个取整会产生大量碎股导致结果失真。5. 绩效分析与结果解读5.1 必须计算的八个绩效指标回测跑完之后你拿到一堆成交记录和每日净值。光看总收益是不够的至少要算八个指标。年化收益率总收益换算成年化。公式是(最终净值/初始净值)^(252/交易日数) - 1。注意这里用的是252个交易日不是365天。最大回撤净值从最高点跌到最低点的幅度。这个指标比波动率更直观因为它直接告诉你“最惨的时候亏多少”。夏普比率超额收益除以波动率。通常认为大于1算不错大于2算优秀。但夏普比率对收益分布的正态性有假设A股策略的收益往往有肥尾所以夏普只能参考。胜率盈利交易占总交易的比例。高胜率不一定赚钱因为可能赢小亏大。盈亏比平均盈利除以平均亏损。盈亏比2以上配合40%胜率就能赚钱。换手率日均交易金额除以总资产。换手率太高说明策略交易频繁手续费会吃掉大量收益。Alpha和Beta相对于基准的超额收益和市场暴露。Beta接近1说明策略跟大盘同涨同跌Alpha显著为正才说明策略有真正的选股能力。信息比率Alpha除以跟踪误差。衡量主动管理能力的稳定性。这些指标我通常用一个函数一次性算出来输出成表格。下面是一个简化的实现def calculate_metrics(nav_series, trades_df, benchmark_series): metrics {} # 年化收益 total_days len(nav_series) total_return nav_series.iloc[-1] / nav_series.iloc[0] - 1 metrics[annual_return] (1 total_return) ** (252 / total_days) - 1 # 最大回撤 cummax nav_series.cummax() drawdown (nav_series - cummax) / cummax metrics[max_drawdown] drawdown.min() # 夏普比率 daily_return nav_series.pct_change().dropna() metrics[sharpe] daily_return.mean() / daily_return.std() * (252 ** 0.5) # 胜率和盈亏比 if len(trades_df) 0: win_trades trades_df[trades_df[pnl] 0] lose_trades trades_df[trades_df[pnl] 0] metrics[win_rate] len(win_trades) / len(trades_df) if len(lose_trades) 0: metrics[profit_loss_ratio] ( win_trades[pnl].mean() / abs(lose_trades[pnl].mean()) ) return metrics5.2 结果解读的三个陷阱第一个陷阱是过拟合。如果你调了二十次参数选了收益最高的那组那这个收益大概率是运气。判断方法是看参数敏感性如果参数稍微变一点收益就暴跌说明过拟合了。稳健的策略应该在参数邻域内表现都差不多。第二个陷阱是幸存者偏差。如果你只用现在还在上市的股票做回测那些退市的股票就被自动排除了。这会导致回测收益虚高因为退市股票往往是表现最差的。解决办法是使用包含退市股票的历史成分股数据。第三个陷阱是前视偏差。除了前面说的用收盘价成交还有一种隐蔽的前视偏差用到了未来才知道的财务数据。比如你在4月1日用了年报数据但年报实际披露日期是4月30日。解决办法是使用财报的公告日期而不是报告期。实操心得我习惯在回测报告里加一列“如果晚一天成交”的对比收益。如果晚一天成交收益暴跌说明策略严重依赖精确的成交时点实盘很难复现。5.3 可视化展示的关键图表数字表格之外几张关键图表能让你更快发现问题。净值曲线对比基准把策略净值和大盘指数画在一起直观看出超额收益是否稳定。回撤曲线净值下方的填充区域一眼看出最惨的时候有多惨、持续了多久。月度收益热力图横轴月份、纵轴年份颜色表示收益。能快速发现策略在哪些月份表现差是否和特定市场环境相关。持仓分布图展示不同行业的持仓占比检查是否过度集中。交易盈亏散点图每笔交易的盈亏按时间排列看亏损是否集中在某段时间。这些图用Matplotlib或者Plotly都能画。我偏好Plotly因为交互式图表能放大看细节排查问题时方便很多。6. 常见问题与排查技巧实录6.1 回测结果和实盘差距太大的六个原因这是被问得最多的问题。根据我的经验差距通常来自六个地方。第一数据频率不够。日线回测假设你能在开盘价成交但实盘开盘那几秒价格波动剧烈实际成交价可能差很多。解决办法是用分钟线回测或者把滑点设大一点。第二流动性冲击。回测时假设你的订单不影响市场价格但实盘大单会推高买入价、压低卖出价。小资金影响小大资金必须考虑。第三手续费和税费低估。很多人只算佣金忘了印花税、过户费还有最低五元的限制。第四涨跌停和停牌处理不当。回测时能成交的实盘可能根本买不进卖不出。第五策略容量有限。有些策略在小资金时有效资金大了就失效。回测时用固定金额实盘资金增长后收益下降。第六心理因素。回测时你能冷静持有实盘回撤20%时可能就割肉了。这个没法用代码解决只能靠仓位管理。6.2 常见报错与排查速查表问题现象可能原因排查方法解决方案回测收益异常高未来函数检查信号计算是否用了当日收盘价信号延迟一天执行回测收益异常低复权处理错误对比不复权和前复权结果统一使用前复权数据持仓数量出现小数未做100股取整检查买入数量计算用//100*100取整某只股票从未成交涨跌停判断过严打印该股票的涨跌停标记调整涨跌停判断逻辑资金曲线突然跳变除权除息未处理检查跳变日是否有分红送股使用复权价格回测速度极慢循环内重复计算用cProfile定位热点向量化或缓存中间结果不同时间跑结果不同随机种子未固定检查是否用了随机数设置np.random.seed(42)内存溢出一次性加载全部数据检查数据加载方式分年份加载或使用生成器6.3 三个独家避坑技巧技巧一用“笨办法”验证核心逻辑。写完回测引擎后手动挑一只股票、一段行情用Excel算一遍收益和代码结果对比。我当年就是靠这个方法发现了一个复权处理的bug那个bug导致所有分红股票的收益都算错了。技巧二给回测引擎加“审计日志”。每一笔成交都记录完整的决策链路为什么买、为什么这个价格、为什么这个数量。出问题的时候翻日志比翻代码快十倍。技巧三先跑通再优化。我见过太多人一上来就追求完美架构结果写了两个月还没跑出第一个结果。正确的做法是先写一个最简版本能跑通一只股票一个策略然后再逐步加功能。能跑通的烂代码比跑不通的好代码有价值得多。7. 从回测到实盘的最后一公里回测系统搭好之后很多人会迫不及待上实盘。我的建议是先模拟盘跑三个月。模拟盘和回测的区别在于模拟盘用的是实时数据你能感受到数据延迟、信号触发、下单确认这些环节的真实节奏。模拟盘期间重点观察三件事信号触发时间和回测假设是否一致、实际成交价和理论价的偏差、策略在实盘环境下的心理承受度。三个月后如果模拟盘结果和回测偏差在可接受范围内再考虑小资金实盘。实盘初期建议用总资金的10%到20%跑半年再逐步加仓。这半年里你会遇到各种回测里没模拟过的情况临时停牌、突发新闻、流动性枯竭。这些经历比任何回测都宝贵。最后分享一个我自己的习惯每个月把实盘成交记录导出来和回测系统在相同时段的模拟结果做对比。差异大的地方就是回测系统需要改进的地方。这个反馈循环坚持一年你的回测系统会越来越接近真实市场。