WOA鲸鱼算法优化XGBOOST：特征选择与参数寻优Matlab实现

简介面向Matlab机器学习用户提供WOA鲸鱼优化算法用于特征选择同时联合优化XGBoost最大迭代次数、深度和学习率三个核心参数完成数据分类预测的完整方案。资源包含Matlab源码、示例数据集与说明文档共16个文件以m脚本为主辅以dll动态库、h头文件、names/data数据描述与Index索引文件并配有结果图片和docx/txt常见问题说明压缩包大小53.31MB运行环境为Matlab2023及以上。已有59人学习。适合电子信息、数学等专业大学生用于课程设计、期末大作业或毕业设计也便于研究者快速复现实验。通过main.m可直接运行输出预测分类图、混淆矩阵图和准确率参数化编程便于修改调整代码注释清晰WOA特征选择可有效剔除冗余变量能帮助理解WOA与XGBoost结合的分类建模思路并处理xgboost报错和代码注释乱码等实操问题。1. 拿 WOA 调 XGBOOST为什么把特征选择和参数寻优捆在一起跑分类任务的人在拿到一份表格式数据时通常默认两步走所有特征全塞进 XGBOOST再用网格搜索去调 max_depth 和 learning_rate。但全特征输入只在特征质量高时才成立一旦数据里有冗余列树的切分点会被噪声特征牵着走准确率卡住不说还容易过拟合。WOA 鲸鱼算法在这份源码里做的事情是把特征选择和 XGBOOST 参数优化放进同一个寻优框架——一次迭代同时决定哪些特征入选和树长多深、学多快、建几棵。这份 Matlab 完整源码和数据面向课程设计、期末大作业和毕业设计场景核心价值在于开箱能跑wine 数据集、WOA 主循环、XGBOOST 训练测试、混淆矩阵绘图全部在同一个工程里你只需要改改参数就能复用到自己的数据上。2. WOA 算法核心包围、气泡网与搜索猎物的 Matlab 实现2.1 为什么选鲸鱼算法而不是遗传算法或粒子群做特征选择加参数寻优常见的进化算法有遗传算法GA、粒子群PSO和鲸鱼优化算法。先说遗传算法特征掩码天然适合二进制编码但 XGBOOST 的三个超参数是连续量用二进制染色体表达会拉长编码长度交叉变异之后还要处理精度问题工程上要拆成两段编码分别维护代码量直接翻倍。粒子群的问题是它有两个权值系数惯性权重 w 和学习因子 c1、c2这几个系数本身又要调等于在寻优外面再套一层寻优新手很容易在调 PSO 参数上耗掉大量时间。WOA 的位置更新只有三个分支用一个随机数 p、一个系数 A 就能在包围猎物、气泡网攻击、随机搜索三态之间切换。这个数据集场景下维度只有 1613 个特征掩码加 3 个超参数种群规模取 20~30 就够用算法结构简单、收敛速度快对课程设计和毕业论文这种需要反复跑实验的场景很合适。另一个现实原因是资源里给的是完整可运行的 WOA.m不需要你自己去改遗传算法的编码解码逻辑这对我这种想快速拿到结果的人来说是决定性的。2.2 WOA.m 的三个更新分支与代码拆解WOA 的核心逻辑集中在 WOA.m 里标准实现分三个部分包围猎物、气泡网攻击、随机搜索。下面是这个资源中主迭代循环的核心骨架直接照这个结构去读源码就能对上号。function [Best_pos, Best_score, Convergence_curve] WOA(SearchAgents_no, Max_iter, lb, ub, dim, fobj) % 输入: 种群数, 最大迭代数, 下界, 上界, 维度, 适应度函数句柄 % 输出: 最优位置(16维), 最优得分(错误率), 收敛曲线 Leader_pos zeros(1, dim); Leader_score inf; for t 1:Max_iter for i 1:SearchAgents_no % 越界修正: 确保每个个体都在lb和ub范围内 Positions(i, :) max(Positions(i, :), lb); Positions(i, :) min(Positions(i, :), ub); % 调用适应度函数, 这里fobj返回的是分类错误率 fitness fobj(Positions(i, :)); if fitness Leader_score Leader_score fitness; Leader_pos Positions(i, :); end end % a从2线性降到0, 控制探索与开发的平衡 a 2 - t * (2 / Max_iter); for i 1:SearchAgents_no r1 rand(); r2 rand(); A 2 * a * r1 - a; % A的范围是[-a, a] C 2 * r2; % C的范围是[0, 2] p rand(); % p决定走螺旋更新还是包围/搜索 if p 0.5 if abs(A) 1 % 包围猎物: 朝当前最优位置收缩 D abs(C * Leader_pos - Positions(i, :)); Positions(i, :) Leader_pos - A * D; else % 随机搜索: 随机选一个个体作为参照 rand_idx randi(SearchAgents_no); D abs(C * Positions(rand_idx, :) - Positions(i, :)); Positions(i, :) Positions(rand_idx, :) - A * D; end else % 气泡网攻击: 螺旋式逼近最优解 D abs(Leader_pos - Positions(i, :)); l (rand() - 0.5) * 2; % l在[-1,1]之间 Positions(i, :) D * exp(2 * l) * cos(2 * pi * l) Leader_pos; end end Convergence_curve(t) Leader_score; end Best_pos Leader_pos; Best_score Leader_score; end这段代码的逻辑说明每次外层迭代先扫一遍种群把当前最优个体记成 Leader在这一轮里所有个体都围着 Leader 做位置更新。abs(A) 1 时个体收缩逼近 Leader相当于局部开发abs(A) 1 时随机选一个个体做参照目的是跳出局部最优保留全局探索能力。p 0.5 进入气泡网攻击用螺旋公式模拟鲸鱼吐气泡逼近猎物的路径这段位置更新是非线性的能让个体在 Leader 附近做精细搜索。参数说明SearchAgents_no 是种群数量wine 数据这种 178 个样本的小规模分类任务取 20~30 就够太大只会徒增每轮迭代的适应度计算时间。Max_iter 取 30~50因为每轮要跑 K 折交叉验证的 XGBOOST 训练迭代次数多了时间成本急剧上升。dim 固定为 16。lb 和 ub 不是单一数值而是 1×16 的数组前 13 维的边界是 0 和 1特征掩码后 3 维的边界要看超参数范围。2.3 initialization.m种群初始化与边界约束initialization.m 做的事看起来简单但直接决定后续迭代能不能稳住。很多版本的 WOA 把初始化写死在主循环里这个资源单独拆出来是有原因的做对比实验时要控制随机种子单独提出来便于统一修改。function Positions initialization(SearchAgents_no, dim, ub, lb) % 初始化种群位置, 每一维独立生成均匀随机数 Positions zeros(SearchAgents_no, dim); for i 1:dim ub_i ub(i); lb_i lb(i); Positions(:, i) rand(SearchAgents_no, 1) .* (ub_i - lb_i) lb_i; end end逻辑说明每一维独立生成随机数而不是一次性生成整个矩阵是为了应对维度边界不一致的情况。前 13 维范围是 [0,1]后 3 维范围可能是 [1,10]、[0.01,0.3]、[50,300]一次 rand 矩阵再统一缩放会把所有维度都搞成同一个范围后面的解码逻辑必然错乱。这里有个我在实际跑这类资源时经常遇到的坑边界数组 ub 和 lb 必须严格按维度顺序排列前 13 位和后 3 位不能颠倒否则特征掩码会被当成超参数去优化XGBOOST 直接报学习率负值的错误。拿到源码第一件事先看 main.m 里 lb 和 ub 的赋值顺序再对 WOA.m 里的 Positions 维度检查一遍。3. 适应度函数是灵魂把特征掩码和 XGBOOST 三个参数编码进同一个种群3.1 编码方案13 位掩码 3 个超参数这个资源最值得抄的设计是它的 16 维编码方案。wine 数据集有 13 个特征前 13 个位置变量对应每个特征的开关取值为 [0,1] 连续值后 3 个位置变量对应 XGBOOST 的三个超参数max_depth最大深度、learning_rate学习率、n_estimators最大迭代次数也就是树的棵数。解码时有个关键细节特征掩码虽然是连续值但最终判定选中还是剔除用的是阈值 0.5。我拆代码时看到很多人写 0.5 还是 0.5 其实无所谓真正的坑在别处——如果你在适应度函数里直接用四舍五入转 0/1那掩码退化成一个简单阈值函数梯度信息全丢算法就退化成随机搜索了。正确做法是解码后把为 0 的特征列直接从训练数据中删掉而不是置零。置零会改变特征分布等于往数据里灌噪声。超参数部分同理后三维取出后要做反归一化映射因为 WOA 的位置更新是在 [0,1] 或自定义边界里算的不能直接把原始值塞给 XGBOOST。比如 learning_rate 的边界是 [0.01, 0.3]解码时用 lb(14) 位置值 * (ub(14) - lb(14)) 映射回去。3.2 适应度函数如何设计K 折交叉验证的错误率一个完整的 WOA-XGBOOST 工程里适应度函数才是工作量最大的部分。WOA.m 只管迭代位置它不关心你内部怎么算得分适应度函数要接收一个 16 维位置向量完成解码、特征筛选、XGBOOST 训练、交叉验证、返回错误率这一整套流程。适应度函数如果写得慢整个寻优过程会非常痛苦因为每迭代一次、每个个体都要跑一遍 XGBOOST。以这个资源常用的 K 折交叉验证为例K 取 5 比较均衡。每次把 178 个样本分成 5 份轮流拿 4 份训练、1 份验证把 5 次的平均分类错误率作为适应度值返回。代码如下function err fitness_woa_xgb(pos, X, y, kfold) % pos: 16维位置向量(前13维特征掩码, 后3维XGBOOST参数) % X: 原始特征矩阵 (178x13), y: 标签列 (178x1) % 返回: 平均分类错误率 mask pos(1:13) 0.5; % 特征选择掩码 X_sel X(:, mask); % 剔除未被选中的特征 % 反归一化解码三个超参数 max_depth round(pos(14)); % 深度取整, 范围默认[1,10] learning_rate pos(15) * 0.29 0.01; % 映射到[0.01, 0.3] n_estimators round(pos(16)); % 树的数量取整 % 5折交叉验证 indices crossvalind(Kfold, y, kfold); err_sum 0; for k 1:kfold test_idx (indices k); train_idx ~test_idx; X_tr X_sel(train_idx, :); y_tr y(train_idx, :); X_te X_sel(test_idx, :); y_te y(test_idx, :); % 这里调用封装好的训练函数, 得到预测标签 y_pred xgboost_train_predict(X_tr, y_tr, X_te, ... max_depth, learning_rate, n_estimators); err_sum err_sum sum(y_pred ~ y_te) / length(y_te); end err err_sum / kfold; % 平均错误率, WOA最小化这个值 end逻辑说明这函数的核心思路是把每个个体解码成特征子集 超参数三元组用 K 折交叉验证评估方案好坏。注意 max_depth 和 n_estimators 必须取整因为 XGBOOST 内部要求整数直接传浮点数会报错或者被静默截断。learning_rate 的映射写在代码里是因为连续值不做映射的话WOA 会根据边界数组把位置约束在 [0,1] 范围内解码时再展开到实际参数范围。参数说明kfold 的取值直接影响运行时间和评估稳定性。K3 时速度快但误差方差大K10 时评估更稳但每个个体的训练时间长约 3 倍。建议先用 K3 跑通流程、观察收敛曲线确认出最优特征子集后再用 K10 做最终评估。3.3 为什么要用错误率而不是准确率WOA 的代码里默认是找最小值用fitness Leader_score更新 Leader。如果你把适应度函数设计成返回准确率那这里要改成找最大值WOA.m 里所有比较符号都要翻转稍不留神就改漏一个分支导致收敛方向错乱。所以这类资源普遍约定用错误率这样 WOA.m 的更新逻辑一行不用改。这是判断一个 WOA 封装是否规范的关键检查点把适应度函数返回值和 WOA.m 里的比较符号放在一起看符号一致就说明设计者考虑过这个问题。如果你的优化目标是准确率等价的写法是返回 1 - 准确率千万不要去改 WOA.m 里的更新逻辑改来改去很容易把螺旋更新分支的比较符号落掉那算法就名存实亡了。4. 从 main.m 到混淆矩阵完整跑通一次 WOA-XGBOOST 分类预测4.1 数据读取与预处理wine.data 的格式陷阱wine.data 是 UCI 的经典红酒数据集178 个样本、3 个类别、13 个数值特征。但它的格式和很多人的直觉不一样类别标签在第一列后面 13 列才是特征而且文件里没有表头直接用 load 读进来是一个 178x14 的矩阵。代码这样写% main.m 中的数据加载部分 data load(wine.data); % 178x14 矩阵 X data(:, 2:end); % 特征: 178x13 y data(:, 1); % 类别标签: 178x1, 取值1/2/3 % 划分训练集和测试集, 常见做法是 70%/30% rng(42); % 固定随机种子, 保证结果可复现 cv cvpartition(y, HoldOut, 0.3); train_idx cv.training; test_idx cv.test; X_train X(train_idx, :); y_train y(train_idx, :); X_test X(test_idx, :); y_test y(test_idx, :);逻辑说明load 在读取纯数值文件时速度最快wine.data 没有表头所以不用 readtable。特征矩阵取出后要确认是否带缺失值wine 数据集本身没有缺失但如果你换成自己的数据在训练前加一行sum(isnan(X))检查比较稳妥。rng(42) 固定随机种子这一步很重要不固定的情况下每次跑出的准确率和混淆矩阵都不一样答辩或交作业时前后对不上会很被动。参数说明cases where a dataset has a very different scale between features, 可以考虑标准化但 XGBOOST 是树模型对特征尺度不敏感这个项目里不需要做归一化。如果你想把代码套到 SVM 或神经网络上那标准化必须加回来。4.2 xgboost_train.m 与 xgboost_test.m查看训练封装结构这个资源里的 xgboost_train.m 负责把超参数 训练数据封装成对 main.m 透明的接口。Matlab 里跑 XGBOOST 通常两种方式一是通过动态链接库调用 xgboost.dll 的 C 接口资源里已经带上了 xgboost.dll 和 xgboost.h二是通过 mex 编译好的接口。以 dll 方式为例训练部分的代码骨架如下function model xgboost_train(X_train, y_train, max_depth, learning_rate, n_estimators) % 封装XGBOOST的Matlab调用接口 % 使用资源自带的xgboost.dll, 通过libpointer传递数据 % 关键参数: 这里按资源默认配置写 params struct(); params.max_depth max_depth; % 树最大深度, 1~10整数 params.learning_rate learning_rate; % 学习率, 0.01~0.3 params.n_estimators n_estimators; % 迭代轮数(树的数量) params.objective multi:softmax; % 多分类任务 params.num_class 3; % wine数据集是3分类 params.eval_metric mlogloss; % 多分类对数损失 % 调用dll底层训练接口, 具体函数名以资源内xgboost.h为准 % 这里省略loadlibrary细节, 实际运行时由main.m统一加载 model call_xgboost_train(X_train, y_train, params); end逻辑说明这段代码展示了参数化编程的核心——把 xgboost_train 封装成接收超参数的普通函数上层调用者不需要关心底层是 dll 还是 mex。注意 objective 用的是 multi:softmax对应多分类输出类别编号如果你的数据是二分类这里要改成 binary:logistic否则预测概率和类别标签对不上。参数说明max_depth 推荐在 [1, 10] 之间搜索大于 10 树的分裂过细训练集上表现好但测试集很容易崩。learning_rate 越小模型越稳但需要更多树在 178 个样本的小数据上learning_rate0.3、n_estimators 小于 200 是比较合理的组合。xgboost_test.m 的逻辑更简单就是加载训练好的模型对 X_test 做预测返回 y_pred 向量。4.3 结果输出预测准确率与混淆矩阵绘制训练测试完成后资源里用 zjyanseplotConfMat.m 画出混淆矩阵1.png、2.png、3.png 是作者运行后给出的三张结果图。典型的调用方式如下% main.m 中的验证与绘图部分 y_pred xgboost_test(model, X_test); accuracy sum(y_pred y_test) / length(y_test); fprintf(测试集准确率: %.4f\n, accuracy); % 调用资源自带的混淆矩阵绘图函数 zjyanseplotConfMat(y_test, y_pred, {类别1, 类别2, 类别3});逻辑说明准确率输出到命令行混淆矩阵单独出一张图。混淆矩阵的主对角线越集中说明三类的区分度越好。wine 数据集的类别 2 和类别 3 在部分特征上存在重叠所以如果你的混淆矩阵在第二类和第三类之间出现少量误判这是数据本身的特性不是代码逻辑问题。参数说明zjyanseplotConfMat 的第三个参数是类别名称的 cell 数组换成你自己的数据集时要同步修改名称否则图例里显示的还是红酒类别。如果你不需要混淆矩阵直接注释掉这一行代码剩余部分不受影响。5. 避坑手册dll 报错、中文注释乱码与维度不一致的排查记录5.1 xgboost.dll 加载失败Matlab 直接 throw 错误现象运行 main.m 时在 loadlibrary 或 calllib 处报错错误信息类似 Invalid MEX-file 或者 无法加载动态库 xgboost.dll程序中断后面的训练代码完全不执行。原因大概率是三种情况。第一Matlab 版本太低资源要求 Matlab 2023 及以上老版本对 C11 标准库的兼容性差第二dll 依赖的 Microsoft Visual C Redistributable 没装齐或者装了不同版本导致运行库冲突第三dll 是 64 位编译的而你的 Matlab 是 32 位安装位宽不匹配直接加载失败。解决先执行matlabroot确认 Matlab 是 win64 架构再在系统里安装最新的 VC Redistributable2015-2022 版本合集。如果还不行把 xgboost.dll 所在的目录用addpath加到 Matlab 搜索路径里并且确认当前工作目录是源码根目录不要放在中文路径下——Matlab 对中文路径的 dll 加载支持非常差这是最容易忽略的一步。5.2 打开源码后中文注释全部乱码现象m 文件里的中文注释显示成乱码或者问号主要出现在 main.m、WOA.m 等带有详细注释的脚本里代码本身能运行但没法阅读。原因Matlab 2023 默认用 UTF-8 编码打开文件而这些源码文件是在旧版本 Matlab 或者 Windows 简体中文环境下用 GBK 编码保存的编码不匹配导致注释显示异常。资源里附带代码注释乱解决方案.txt就是为了处理这个。解决不要用 Matlab 内置编辑器去转换编码正确做法是用记事本或者 VS Code 打开乱码的 m 文件选择另存为编码选 UTF-8覆盖保存后再用 Matlab 打开。批量处理时可以写一段脚本循环处理所有 .m 文件但更快的办法是直接在 Matlab 的预设 → 编辑器/调试器 → 语言里把文件编码改成 GBK然后重新打开注释恢复正常后再改回 UTF-8。5.3 特征选择后训练维度不一致报矩阵维度错误现象WOA 迭代到中途报维度错误或者训练集特征数 7、测试集特征数 13XGBOOST 训练正常但预测时直接报维度不匹配。原因特征选择掩码在 WOA.m 的迭代里是每个个体独立的也就是说每个个体选中的特征子集不一样。如果代码里只对训练集做了特征筛选测试集还在用全特征那训练和预测的维度必然对不上。这类问题在把资源改成自己的数据集时很容易触发因为原始 wine.data 的处理流程是按固定维度写的。解决特征选择的应用对象必须是训练集和测试集同步处理。做法是在适应度函数里保存当前最优掩码在 main.m 里用同样的 mask 去切分 X_test确保预测时用的维度和训练时完全一致。核心原则掩码只训练一次测试时必须复用最优掩码绝不能在预测阶段再做一次特征选择。5.4 混淆矩阵绘图函数传参顺序错误现象zjyanseplotConfMat 画出来的混淆矩阵是反的主对角线上的数字出现在非对角线位置图看起来像转置了。原因混淆矩阵的常见约定是行 真实标签、列 预测标签但不同资料里的 y_test 和 y_pred 传参顺序不同。有些函数内部用的是 y_pred 在前、y_true 在后如果你的数据传入顺序正好相反矩阵就转置了。解决看函数内部的 confusionmat 调用方式confusionmat(y_test, y_pred)和confusionmat(y_pred, y_test)的结果互为转置。直接对比一下对角线上的数值是否与准确率吻合吻合就说明传参正确。如果你是给别人验收代码建议在绘图函数前加一行断言assert(accuracy sum(diag(confusion_matrix)) / length(y_test))提前暴露传参问题。6. 验证套路基准对比、收敛曲线与多次运行统计6.1 设计四组对照实验量化 WOA 的贡献单独跑一次 WOA-XGBOOST 拿到 97% 准确率说明不了问题因为全特征加默认参数的 XGBOOST 在 wine 上也能达到 95% 左右。要证明这套方法有效我习惯做四组对比全特征 默认参数、全特征 WOA 调参、WOA 特征选择 默认参数、WOA 特征选择 WOA 调参。四组跑完放在一张表里能清楚看到准确率提升来自调参还是特征选择还是两者叠加。从实际结果看wine 这个数据集上特征选择的贡献通常比调参更大这正好印证了数据冗余是树模型性能瓶颈的判断。6.2 收敛曲线怎么读只看末端更要看斜率运行成功后记录 Convergence_curve画出 WOA 的收敛曲线。合格的收敛曲线应该在前 5~10 代快速下降之后进入缓慢下降平台期。如果曲线从头到尾都是直线下降、没有平台期说明 Max_iter 设小了算法还没收敛就被截断要增加迭代次数。如果曲线前几代就持平不动大概率是初始种群太差或者边界设置过窄回到 initialization.m 检查 lb/ub 是否覆盖了合理参数空间。6.3 多次运行取最优保留最优掩码做解释性分析WOA 本身带随机性每次运行的特征选择结果可能不同所以最终报告里要写运行 10 次取最优同时统计每个特征被选中的频率。用柱状图画出 13 个特征的选择频率那些在 10 次运行里被选中 8 次以上的特征才是稳定有效的特征只出现一两次的可以判定为弱特征或噪声。我在帮人验收这类代码时除了看准确率一定会看这个频率图它能证明模型不是碰巧选对特征而是真的学到了规律。从那以后我每次拿到这类进化算法优化源码都会强制做一遍同样的流程先固定随机种子跑一遍基线再跑三组对比实验最后输出特征选择频率图。没有这套验证兜底算法再花哨也只是个黑盒。希望这份拆解能帮你少走几步弯路直接跑通并讲清楚每一行关键代码在做什么。本文还有配套的精品资源点击获取