五子棋AI实战：策略价值网络与MCTS搜索的完整落地

简介基于Python深度神经网络的五子棋博弈引擎设计与实现项目是一份适合课程设计、毕业设计及人工智能方向进阶学习的完整源码包。项目融合AlphaZero思想完整包含蒙特卡洛树搜索、策略价值网络、自我对弈训练、人类对弈等核心模块并提供两套Web部署文档方便本地复现与在线演示。压缩包内共39个文件其中15个Python脚本覆盖训练、对弈与网络定义4个模型文件可直接加载使用3份说明文档含部署手册另有运行效果动图与训练日志整体仅2.49MB结构清晰、上手门槛低。已有134人学习/下载。源码已经测试运行成功不同规格棋盘模型可对比策略效果训练日志记录损失变化便于分析动态演示图直观展示引擎对弈过程部署文档也可减少环境配置时间。适合计算机、人工智能、电子信息等相关专业学生用于毕业设计、课程设计或项目演示并可在现有框架上针对其他棋类或强化学习场景二次开发。1. 为什么五子棋引擎值得把DNN接进蒙特卡洛搜索五子棋是个容易被低估的博弈问题。15×15 棋盘看着不大穷举所有合法落子序列在数学上不现实但每一步候选手又远少于围棋于是传统算法的主路线是写一个基于棋型评分的评估函数配合 alpha-beta 剪枝搜索。问题在于手工评分函数天花板很低几十条规则互相打架后棋力往往卡在“能虐新手、打不过中等水平”的位置。深度神经网络DNN解决的是“局面评估难以手工设计”这一环让网络从自我对弈数据里学出“当前局面谁占优、哪些点值得下”再在搜索时用网络给每个分支打先验分。这种“策略-价值网络 MCTS”就是五子棋博弈引擎里最常见也最稳的方案。它适合想从零搭建棋类 AI 的 Python 工程师也适合需要完整项目理解“网络怎么下棋、搜索怎么用网络”的开发者——最终交付一份能运行、能复现、带部署文档的本地博弈程序。2. 棋盘状态编码与带神经网络引导的MCTS搜索框架先抛开网络训练把引擎底座搭起来棋盘怎么变成张量搜索树怎么生长。这两个环节定了后面所有实验的地基就稳了。2.1 棋盘特征编码把落子序列堆成神经网络的输入张量输入张量设计的目标是“让网络知道当前轮到谁、棋盘上有哪些子、最近几步发生了什么”。我不会把 15×15 的整型矩阵直接喂进网络——这种原始输入缺少历史信息网络第一层卷积没法区分“这是刚下的”和“这子下了很久”而后者对判断冲四、活三很关键。常见做法是堆通道。我一般用 4 个特征平面尺寸 15×15数值都在 0~1 之间import numpy as np def encode_board(board, last_move, current_player): board: 15x15 int0空, 1黑, 2白 last_move: (row, col) 或 None current_player: 1黑, 2白 返回值: (4, 15, 15) 的 float32 张量 planes np.zeros((4, 15, 15), dtypenp.float32) opponent 3 - current_player planes[0] (board current_player).astype(np.float32) planes[1] (board opponent).astype(np.float32) if last_move is not None: r, c last_move planes[2, r, c] 1.0 return planes这里每个通道的含义是第 0 通道标记当前方所有棋子第 1 通道标记对方棋子第 2 通道标记最近一手落在哪里第 3 通道留给对手的最近一手或者向上滚动堆叠最近几步的历史。注意一个容易错的关键点特征必须统一到“当前玩家视角”轮到黑棋时第 0 通道是黑子轮到白棋时第 0 通道换成白子。如果不做这个视角归一化价值头会学到“通道 0 总是黑棋”的偏见轮到白棋时相同局面的胜率含义就漂移了。保留历史通道的原因很直观五子棋的跳冲、双三这类棋型依赖落子先后关系单一棋面看不出“这条线是刚刚连出来的还是老早就存在的”。这类通道设计不需要让网络自己学因为从原始棋面推导先后手很容易但历史通道能显著加快收敛。2.2 MCTS搜索树与PUCT选择公式神经网络如何引导搜索搜索的目标是把有限的模拟次数花在值得探索的分支上。朴素蒙特卡洛随机下到终局在五子棋这种连五才决胜负的游戏里效率极低加入神经网络引导的 MCTS 让选择过程变成“先验概率 实时胜率”的平衡。每一轮搜索包含四步选择Selection、扩展Expansion、评估Evaluation、回传Backup。选择时沿着 PUCT 公式得分最高的子节点往下走直到叶子节点叶子节点第一次被访问时调用神经网络得到下一步先验概率 p 和局面价值 v随后把 v 沿路径向上更新到所有父节点重复 N 次直到搜索预算耗尽。选择这一步的公式是Q(s, a) c_puct · P(s, a) · sqrt(N(s)) / (1 N(s, a))其中 Q 是子节点累计价值的均值P 是网络给出的先验概率N(s) 是父节点访问次数N(s, a) 是子节点访问次数c_puct 控制探索强度。PUCT 的含义是访问次数少的节点会被优先探索分母小但又不至于完全无视网络给出的先验评分。对应到代码里一个最小实现是这样import math class TreeNode: def __init__(self, prior): self.prior prior # P(s, a) self.visit 0 # N(s, a) self.value_sum 0.0 # 累计价值 self.children {} # action - TreeNode self.is_expanded False def value(self): return self.value_sum / (self.visit 1e-8) def update(self, leaf_value): self.visit 1 self.value_sum leaf_value def select_child(node, c_puct): best_score -float(inf) best_action None best_child None for action, child in node.children.items(): ucb child.value() c_puct * child.prior * math.sqrt(node.visit) / (1 child.visit) if ucb best_score: best_score ucb best_action action best_child child return best_action, best_child搜索完成之后根节点输出的策略不再直接用网络先验而是用访问次数归一化π(a) N(s_root, a) ^ (1/T) / Σ N(s_root, b) ^ (1/T)温度 T1 时按访问比例采样保留随机性用于生成训练数据T 趋近 0 时变成贪心取访问次数最多的落子。正式对弈后半盘我一般把 T 降到 0.1 以下。这里有几个搜索相关参数值得单独说明参数常见取值影响c_puct1.5 ~ 5.0过大偏向探索过小过早收敛到先验每步模拟次数100 ~ 2000低于 100 波动大高于 2000 边际收益低根节点 Dirichlet 噪声alpha0.03~0.3只加在根节点防止自我对弈走法单一温度 T开局 1.0中盘 0.3终局 0控制训练数据多样性与评测稳定性2.3 落子合法性过滤与模拟次数预算合法动作的过滤发生在两个地方。一是网络输出策略头之后需要把已占位置的 logit 置为 -inf 再做 softmax否则网络会在填满的交叉点上浪费先验概率二是 MCTS 扩展节点时对每个叶子节点重新枚举空点。legal_mask (board 0).reshape(-1) masked_logits policy_logits - (1 - legal_mask) * 1e9 probs torch.softmax(masked_logits, dim-1)这里的 mask 技巧比直接置零要稳置零之后 softmax 会把概率分摊到其他点上相当于变相增大了其余点的先验减大数后其余点的概率分布和原分布更接近。MCTS 扩展时也是这样每个节点维护一个 action 到子节点的字典action 用(row * 15 col)编码子节点创建前先过滤掉非空位置。模拟次数是个工程量参数。我习惯把交互上限控制在 0.5 秒一步CPU 上通常 300 次模拟即可达到这个约束GPU 上可以放开到 800~2000 次。模拟次数太少低于 100PUCT 的探索还没收敛走法会体现明显随机性超过 2000 次后棋力提升曲线开始变平不如把算力让给训练。3. 策略-价值神经网络结构、损失函数与自我对弈训练MCTS 是骨架神经网络才是引擎对局面的理解能力来源。五子棋棋盘只有 15×15不需要像围棋那样堆几十层残差块5 块残差的共享骨干就能学到冲四、活三这类局部棋型。下面把网络定义和训练流程拆开讲。3.1 网络结构共享骨干加策略头与价值头常见实现是一个共享卷积骨干接出两个头策略头输出每个落子点的先验概率价值头输出当前局面从当前玩家视角看的胜率取值范围 -1 到 1。共享骨干的好处是特征提取只算一次两个头各自在特征之上做轻量映射。我用 PyTorch 写的工程版本一般长这样import torch import torch.nn as nn import torch.nn.functional as F class ResidualBlock(nn.Module): def __init__(self, channels): super().__init__() self.conv1 nn.Conv2d(channels, channels, 3, padding1) self.bn1 nn.BatchNorm2d(channels) self.conv2 nn.Conv2d(channels, channels, 3, padding1) self.bn2 nn.BatchNorm2d(channels) def forward(self, x): out F.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) return F.relu(out x) class GomokuNet(nn.Module): def __init__(self, board_size15, num_planes4, channels64, blocks5): super().__init__() self.conv_in nn.Conv2d(num_planes, channels, 3, padding1) self.bn_in nn.BatchNorm2d(channels) self.blocks nn.ModuleList([ResidualBlock(channels) for _ in range(blocks)]) # 策略头输出 board_size*board_size 个 logit self.policy_head nn.Conv2d(channels, 1, 1) # 价值头先卷积到 1 通道再全连接压缩到 [-1, 1] self.value_head nn.Conv2d(channels, 1, 1) self.value_fc_1 nn.Linear(board_size * board_size, 64) self.value_fc_2 nn.Linear(64, 1) def forward(self, x): out F.relu(self.bn_in(self.conv_in(x))) for block in self.blocks: out block(out) policy_logits self.policy_head(out).view(x.size(0), -1) v F.relu(self.value_fc_1(self.value_head(out).view(x.size(0), -1))) value torch.tanh(self.value_fc_2(v)) return policy_logits, value五个参数值得说明channels 决定网络容量。64 通道版本参数量不到 200 万CPU 推理一次 20 毫秒以内足够 MCTS 每步做几百次前向追求棋力可以升到 128。blocks 控制深度。五子棋局部棋型最多覆盖两三个方向上的连续五子5 层残差已经能覆盖 11×11 的感受野10 层对棋力提升有限训练时间却明显变长。策略头用 1×1 卷积把通道压到 1再展平成 225 维 logit。也可以用 2 通道再展平效果几乎一样参数反而更多。价值头必须过 tanh让输出落在 [-1, 1]。开局价值接近 0碾压局面接近 ±1不这样压缩MSE 会被大数值样本主导。BatchNorm 在推理时必须切换到 eval 模式否则均值方差用的是训练批次统计量落子会变得不稳定。3.2 自我对弈数据生成MCTS的访问概率就是策略标签有了网络和搜索训练数据的产生就是一个自动过程。两个引擎或一个引擎对自身从空盘开始对弈每一步先用当前网络做 MCTS 搜索把根节点访问分布 π_t 连同局面 s_t 一起存下来一局下完后根据当前玩家视角记录终局价值 z赢了 1、输了 -1。def self_play_one_game(model): board np.zeros((15, 15), dtypeint) player 1 last_move None sample_buffer [] while True: state encode_board(board, last_move, player) policy, move mcts_search(model, board, player) sample_buffer.append((state, policy, player)) board[move] player if is_winning_move(board, move, player): winner player break last_move move player 3 - player if len(np.where(board 0)[0]) 0: winner 0 break samples [] for state, policy, p in sample_buffer: if winner 0: z 0.0 else: z 1.0 if p winner else -1.0 samples.append((state, policy, z)) return samples注意样本缓冲里每一手属于不同玩家视角终局价值的符号必须按“当前玩家是谁”交替翻转。新手常在这里出错把白棋的胜率当黑棋的胜率存下来网络会学到错误的相对局面评估。is_winning_move是四方向连续计数函数逻辑简单但必须在每次落子后立即调用。数据增强在自我对弈中特别划算每份样本旋转 4 次、镜像 1 次等价于把训练集扩到 8 倍。五子棋的旋转对称性在规则层面严格成立没有围棋征子方向那种破缺所以增强是无损的。3.3 训练超参数与损失权重怎么配才不会练歪优化目标要同时对齐策略和价值两个方向损失函数为loss -π^T log p (z - v)^2 λ||θ||^2第一项是策略交叉熵让网络先验接近 MCTS 的搜索分布第二项是价值 MSE第三项是 L2 权重衰减。价值头损失权重我一般设 1.0不需要额外放大因为五子棋终局信号足够密集一局棋上百手价值损失已经足够稳定。参数常用取值说明学习率0.001 起步余弦退火AdamW 优化器batch size256 ~ 512样本量大batch 太小梯度噪声明显L2 权重衰减1e-4 ~ 3e-4防过拟合数据增强8 倍旋转 镜像无损增强自我对弈权重更新每 200 ~ 500 局评估一次新版本赢过旧版本再替换训练节奏是“对弈一批、训练一批”生成 500 局自我对弈数据放进回放缓冲区再用副本网络训练若干轮。这里有个关键阻断条件引擎对弈时应固定旧权重版本新权重只用于训练更新等新版本赢过旧版本再替换上线。直接把每步更新后的权重拿回去下棋容易陷入震荡棋力会来回横跳。4. 模型部署与对弈封装从权重文件到可下棋的程序训练完的权重只是张量离“能下棋”差着一个封装层。这一章把模型导出、推理封装、命令行交互和部署文档的写法串起来让拿到压缩包的人在新机器上直接跑起来。4.1 模型导出与推理封装把 torch 模型变成 engine 对象训练结束后把 state_dict 存下来并在工程里固定网络结构的构造参数board_size、channels、blocks。这是一个常见坑保存时只存了权重没有存结构下次加载时网络定义对不上直接 key 不匹配报错。我习惯在训练脚本里把网络配置写进 JSON 一并保存python train.py --board-size 15 --channels 64 --blocks 5 # 输出目录下生成 # weights.pt # model_config.json推理端封装成一个 Engine 类对外只暴露一个 move 接口import json class Engine: def __init__(self, config_path, weight_path): cfg json.load(open(config_path)) self.net GomokuNet(**cfg) self.net.load_state_dict(torch.load(weight_path, map_locationcpu)) self.net.eval() self.c_puct 3.0 self.simulations 300 def move(self, board, last_move, player): 返回 (row, col)内部做完整 MCTS 搜索 legal np.where(board 0) legal_actions list(zip(legal[0], legal[1])) root run_mcts(self.net, board, last_move, player, self.simulations, self.c_puct) action max(root.children, keylambda a: root.children[a].visit) return divmod(action, 15)推理时注意三件小事第一网络要 eval()否则 BatchNorm 用得是训练统计量第二输入张量每次重新编码历史通道传对玩家视角归一化第三搜索时网络前向加torch.no_grad()300 次模拟能省下不少时间。run_mcts是上章 MCTS 主循环的封装返回根节点。4.2 命令行对弈接受坐标输入并回传最优落子命令行版本通常接受“行 列”形式输入比如7 7表示第 7 行第 7 列内部减 1 转成 0 索引。棋盘用文本打印每局开始前先展示一次坐标说明。def print_board(board): header .join(str(i) for i in range(1, 16)) print(header) for i, row in enumerate(board): print(f{i1:2d} .join({0: , 1: X, 2: O}[c] for c in row)) def human_move(board): while True: raw input(输入落子坐标行 列1~15: ).strip().split() if len(raw) ! 2: continue r, c int(raw[0]) - 1, int(raw[1]) - 1 if 0 r 15 and 0 c 15 and board[r, c] 0: return r, c主循环流程是打印棋盘 - 玩家输入 - 判断胜负 - 引擎搜索落子 - 判断胜负 - 重复。这里要特意留出胜负检测接口每次落子后立即调用否则终端版赢了不提示体验非常别扭。棋盘打印用、X、O三种符号视觉上够用不用引第三方绘图库。4.3 部署文档要覆盖的四件事依赖、模型、坐标与验证这类“全部资料齐全”的压缩包部署时真正卡住人的地方往往不在算法而在环境。部署文档我按四块写满部署模块文档里要写清楚的内容Python 环境python 版本3.9 及以上足够、是否用虚拟环境、torch 装 CPU 版还是 GPU 版的命令差别依赖清单requirements.txt 至少包含 torch、numpy、tqdm、pyyaml模型与启动权重文件放哪个目录、启动命令是否带参数、配置文件如何指定模型路径坐标与交互输入格式1~15、谁先手、引擎执黑还是执白、模拟次数和 c_puct 是否能调如果部署文档写齐这四块拿到压缩包的人基本能在 10 分钟内跑起来。还有一步值得写进文档给一条验证命令比如python main.py --selfplay --quick跑 10 局自动对弈并打印比分用来证明模型和代码对得上而不是只有“能启动”这一条标准。5. 调优引擎的三个技巧温度策略、随机种子与胜率回归网络和搜索都跑通之后棋力提升靠的不是加层数而是把几个小细节抠明白。这三个改动带来的收益比盲目调参更明显。5.1 温度参数与黑棋先手优势的对抗五子棋黑棋先手优势是结构性的黑棋胜率天然在 55%~60%。如果自我对弈从头到尾用 T1白棋学到的局面评估会系统性偏悲观中盘容易过早认输。我建议对温度做 schedule开局前 10 手 T1.0让棋路分散产生多样训练数据中盘 T0.3最后 5 手 T0直接贪心。这个 schedule 比改 PUCT 系数更容易控制“解题强度”。白棋视角的另一个做法是引入禁手规则三三、四四禁手但会大幅提高规则复杂度适合做进阶版本而不是基线版本。5.2 固定随机种子让每一版引擎的强弱可对比训练和搜索里都有随机性Dirichlet 噪声、MCTS 随机选择、PyTorch 权重初始化、dataloader shuffle。不固定种子同一个网络配置再训一遍胜率可能差 3~5 个百分点根本分不清模型变强了还是运气变了。在训练脚本开头固定三个随机源def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)注意如果 MCTS 开了多进程并行搜索线程调度会导致结果不可复现要完全可复现得把 simulations 放在单线程或固定线程池内执行。5.3 胜率回归怎么判断一个改动是真的变强了判断模型强弱的标准手段是 A/B 对弈。旧引擎A和新引擎B各执黑执白下 100 局统计 B 的胜率平局记 0.5。我常用的标准是胜率超过 55%且 95% 置信区间下限仍然大于 50%。置信区间用正态近似p_hat ± 1.96 · sqrt(p_hat · (1 - p_hat) / n)100 局时 55% 对应区间大概是 [45%, 65%]区分度比较粗糙所以低幅度的改动我会翻到 200 局再看。验证时固定“开局前几步”让两个引擎从同一组初始局面开始下初始局面用一个固定随机种子预生成并存成 JSON每次回归都读同一份。把这样一套回归流程写进工程项目里改动是好是坏就不靠感觉拍板。本文还有配套的精品资源点击获取