feedforwardnet实战：隐藏层参数、数据划分与过拟合排查

feedforwardnet 这个函数我在带新人的时候基本是把它当成入门第一课来讲的。它在 MATLAB 的神经网络工具箱里一行调用就能搭出一个带隐藏层的前馈网络从输入权重、偏置、传递函数到数据划分、训练算法、性能评估全都替你封装好了。但恰恰是这种一行搞定的便利让很多人练完几个示例就以为自己会了换个数据集立刻翻车。这篇就围绕 feedforwardnet 展开讲清楚它内部到底生成了什么结构、关键参数该怎么定、训练流程怎么走、出问题又该往哪查。适合刚接触前馈网络的学生、需要快速做回归或拟合验证的工程师以及那些跑通了示例但不知道为什么能跑通的朋友。文中所有参数取值和节点数计算都给了推导过程代码可以直接拿去改数据复用。1. 先想清楚 feedforwardnet 替你封装了哪些东西1.1 一行调用背后实际生成的对象很多人对 feedforwardnet 的认知停留在它能建一个神经网络但你要真正用好它得先知道那个返回值 net 里到底装了什么。本质上它返回的是一个网络对象这个对象包含了层数、每层的神经元个数、每层的传递函数、权重与偏置矩阵、输入输出的预处理配置、数据划分函数、训练函数、性能函数以及一堆训练超参数。你敲一句net feedforwardnet(10)工具箱默认给你生成的是一个输入层、一个含 10 个神经元的隐藏层、一个输出层隐藏层用 tansig输出层用 purelin训练算法是 trainlm性能函数是 mse数据划分是 dividerand 按 70/15/15 三分。把这些默认值打出来看一眼比读十页文档都快net feedforwardnet(10); disp(net.numLayers) % 2隐藏层 输出层 disp(net.layers{1}.transferFcn) % tansig disp(net.layers{2}.transferFcn) % purelin disp(net.trainFcn) % trainlm disp(net.performFcn) % mse disp(net.divideFcn) % dividerand disp(net.inputs{1}.processFcns) % {removeconstantrows,mapminmax}最后一行特别值得注意。很多人以为自己必须手动做归一化其实工具箱在训练时会自动对输入做 removeconstantrows剔除常数列和 mapminmax线性映射到 [-1,1]并且把这套映射参数存在 net 里后面你拿新数据去仿真时会自动套用同一套参数。这一点非常重要如果你在训练前自己又手动归一化了一遍然后仿真时忘了还原或者训练时归一化了、预测时忘了归一化那结果一定是错的。我的建议是要么全程交给工具箱要么全程自己来并把归一化参数单独存下来千万不要混着用。还有一点容易被忽略这个对象在train之前其实是未配置状态。也就是说输入的维度、样本数都还没定权重的形状也没定。当你调用train(net, X, T)时工具箱会根据 X 的行数推断输入维度并自动调用 configure 完成初始化。如果你想让整个过程更可控可以显式地先net configure(net, X, T)这样权重初始化的随机数消耗位置就固定了配合固定种子能做出完全可复现的结果。1.2 它和多层感知机的关系以及适用边界从结构上说feedforwardnet 建出来的就是标准的多层前馈网络也就是常说的 MLP。信息单向从输入层流向隐藏层再流向输出层层与层之间全连接同层之间不连接没有反馈回路。所以你拿它做非线性回归、函数逼近、简单的多输入单输出映射都是它的主场。但边界也得说清楚。第一它本身不带时序记忆你把一段 100 个点的时间序列整段塞进去它只会当成 100 个独立的特征前后关系完全丢失。要做时序预测得先把数据做成滞后特征比如用 t-1、t-2、t-3 去预测 t或者换用带延迟和反馈结构的网络类型。第二它的输出层默认是 purelin输出范围是全体实数适合回归。如果你要做的是多分类输出层得改成 softmax 配交叉熵这时候用 patternnet 更顺手因为那边默认就是这套配置。第三它对输入特征的尺度敏感虽然有自动归一化兜底但如果某个特征存在极端离群值mapminmax 会被这一个点严重扭曲整个区间这时候应该先做离群值处理或改用更稳健的缩放方式。我一般会跟人说判断该不该用 feedforwardnet就看三件事你的任务是回归还是分类、你的数据有没有时间顺序、你的样本量够不够撑起你要的参数量。三件事里有两件不满足就得考虑换工具而不是硬调参数。这个判断顺序很重要因为大部分调不好的问题根源根本不在超参数上而在选错了模型类型。顺带把几个容易混淆的兄弟函数放一起对照省得每次都要翻文档函数默认训练算法输出层默认传递函数默认性能函数典型用途feedforwardnettrainlmpurelinmse通用前馈网络回归为主fitnettrainlmpurelinmse函数拟合场景的包装实际差异很小patternnettrainscgsoftmaxcrossentropy多分类输出可直接当概率cascadeforwardnettrainlmpurelinmse输入直连到各层层数少时拟合更快feedforwardnet 和 fitnet 的差别在实际使用中几乎感知不到结构、默认算法、默认传递函数都一致主要是文档定位不同。我个人的习惯是回归统一用 feedforwardnet因为它更素不会让我误以为有什么隐藏的自动化处理。2. 参数逐个拆隐藏层、传递函数、性能函数怎么定2.1 hiddenSizes 不是拍脑袋——用参数量倒推隐藏层节点数大概是新手问得最多的一个问题网上流传的经验公式一大堆比如取输入维度的两倍加一、取输入输出维度之和开根号再加减常数。这些公式不是不能用但它们没有回答一个更根本的问题你的样本量撑不撑得住这么多参数。前馈网络的参数量是可以精确算出来的。假设输入维度 nIn隐藏层节点 nHid输出维度 nOut单隐藏层的总参数为输入到隐藏层的权重nIn × nHid隐藏层偏置nHid隐藏层到输出层的权重nHid × nOut输出层偏置nOut举个具体例子。假设你有 8 个输入特征、1 个输出目标、300 条样本按 70/15/15 划分后训练集是 210 条。如果隐藏层取 10nIn 8; nHid 10; nOut 1; nParam nIn*nHid nHid nHid*nOut nOut % 101101 个参数对 210 条训练样本比例大约 1:2。这个比例只能说勉强可用因为经验上训练样本数最好是参数量的 5 到 10 倍模型才有足够的冗余去泛化而不是死记硬背。如果把隐藏层加到 20参数量变成 201几乎等于训练样本数那基本就是给网络发了一张随便过拟合的许可证。所以我的做法是反过来推先确定能接受的参数量上限大概是训练样本数的 1/5再解出隐藏层节点数。还是上面这个例子训练样本 210参数上限取 42那么 nHid 最多满足8*nHid nHid nHid 1 ≤ 42即10*nHid ≤ 41nHid 取 4。这个数听起来少得离谱但它在小样本场景下往往比 20 个节点表现更稳。如果确实需要更强表达能力又不想过拟合正确的方向不是加节点而是加正则化、加数据、或者做特征工程。多层结构也是选项之一比如两个隐藏层各 12 和 6理论上参数量是8*1212 12*66 6*11 193比单层 20 个节点还少一些但表达能力更强。这也是我偏好两层小网络的原因参数效率更高。注意节点数过少的直接后果是欠拟合训练集误差就下不去这时候加正则化只会更糟。先看训练集误差能不能压到接近噪声水平压不下去就加容量压下去了但验证集差才考虑正则化。2.2 传递函数搭配的固定套路与例外隐藏层用 tansig双曲正切输出 -1 到 1输出层用 purelin线性这是前馈回归网络的标配组合没有特殊理由不要动。原因很直白隐藏层需要有非线性否则多层堆叠等价于单层线性变换白搭而 purelin 的值域是全体实数不会给输出加隐形上限。tansig 和 logsig 的区别在于值域对称性。tansig 关于零对称输出 -1 到 1梯度在零点附近最大训练时收敛通常更顺logsig 输出 0 到 1全正会让后续层的梯度更新出现方向上的偏置收敛慢一些。除非你的目标值天然在 0 到 1 之间并且你想强行约束输出范围否则选 tansig。还有一个值得知道的选项是 elliotsig形状和 tansig 类似但计算量小、且不容易饱和。当你的输入数值范围很大、tansig 容易卡在饱和区导致梯度消失的时候换成 elliotsig 会有立竿见影的效果。我遇到过一次特征没做任何处理直接喂进去tansig 全军覆没在饱和区训练误差从头到尾不动换成 elliotsig 立刻就动起来了。输出层什么时候不用 purelin两种情况。一是你的目标有明确物理边界比如浓度不可能为负、转化率不超过 1而你希望网络输出自动满足这个约束那可以在输出层加 logsig 或做后处理裁剪。但要注意这会限制外推能力边界外的样本会被压到边界上。二是做分类任务那就不该用 feedforwardnet 而该用 patternnet。除此之外purelin 别改。2.3 性能函数与正则化项的选择默认性能函数是 mse也就是均方误差。这个选择对大多数回归任务没问题。如果数据里有明显的离群点mse 会因为平方放大离群点的影响而被带偏这时候可以考虑 mae它对应的是中位数回归对离群点更稳健。不过 mae 的梯度在零点不连续训练收敛会慢一些需要更多轮次。真正值得花时间的是正则化。feedforwardnet 支持 L2 正则通过性能参数设置net.performFcn mse; net.performParam.regularization 1e-3; % L2 系数常用 1e-4 ~ 1e-2这个系数的作用是在损失里加上权重平方和乘以该系数压制权重绝对值过大。它和早停是互补的早停是从训练轮次上限制模型复杂度正则化是从参数空间上限制。系数的量级怎么定我的经验是先试 1e-3如果验证集误差曲线很平缓、训练集误差一直往下掉说明正则不够往上加一个数量级反过来如果训练集误差从一开始就压不下去、下降非常慢说明正则太重了往下减。这个调试过程用两三层网格就够了不用做精细搜索因为正则系数的影响通常不是尖锐的。需要强调的是performParam.regularization这个字段只对 trainlm、trainscg 这类基于梯度的算法有效。如果你用的是 trainbr贝叶斯正则化它自己内部就带了一套自动确定正则强度的机制此时手设 L2 系数没有意义甚至会互相干扰。这也是很多人用 trainbr 时把正则设得很大、结果训练死活不收敛的原因。3. 数据划分与训练策略决定成败的一步3.1 训练/验证/测试三分法的真实含义dividerand 把数据随机切成三份默认 70% 训练、15% 验证、15% 测试。这三份的职责完全不同混淆了就会得出错误结论。训练集用来算梯度、更新权重这是唯一参与参数更新的部分。验证集不参与梯度更新它只在每个 epoch 结束后被评估一次用来判断模型是否开始过拟合——如果验证集误差连续若干轮不降反升训练就提前停止并把权重回滚到验证误差最小的那一轮。测试集则完全不参与任何决策它只在训练结束后被评估一次用于给出一个无偏的泛化估计。问题在于很多人拿验证集上的最优结果当成模型的最终性能来汇报这其实是有偏的因为验证集已经间接参与了模型选择决定了停在哪一轮。真正对外报数应该用测试集。当然如果你还要根据测试集结果去调超参数那测试集也就被污染了严格做法是再切一份独立集但工程上一般没这么讲究只要心里清楚这个偏差存在就行。比例怎么定样本量大的时候几千条以上15% 的验证集足够稳定比例可以再降。样本量小的时候几百条15% 只有几十条验证误差曲线会抖得厉害早停判断很容易误判。这种情况下我倾向于用交叉验证而不是单次划分但 feedforwardnet 本身不直接支持 k 折得自己写外层循环每次把不同折作为验证集。虽然麻烦但小样本场景下这一步的收益非常明显。还有一类情况要特殊处理如果数据本身有顺序比如按时间采集、按工况排序绝对不能随机划分否则会造成信息泄漏——训练集里包含了未来信息验证集误差会虚低得离谱。这时应该改成按顺序切分或者手动指定索引net.divideFcn divideind; net.divideParam.trainInd 1:210; net.divideParam.valInd 211:255; net.divideParam.testInd 256:300;用 divideind 还有个额外好处划分完全确定不依赖随机种子结果天然可复现。3.2 随机种子与结果可复现feedforwardnet 有三个随机源权重初始化、数据划分、以及某些算法内部的随机性。默认情况下每次调用 train 都会重新划分数据所以你连着跑两遍结果不一样是正常的不是代码写错了。要让结果可复现在 train 之前固定随机种子rng(2024); [net, tr] train(net, X, T);这里有个细节容易踩坑rng影响的是全局随机流而 train 内部调用 dividerand 和权重初始化都会消耗这个流。所以如果你在 rng 之后、train 之前还做了别的事比如另一次随机抽样结果又会变。规范写法是 rng 和 train 紧挨着中间不要插任何消耗随机数的操作。不过我要提醒一句可复现不等于可靠。固定种子只是让同一个划分下结果稳定让你能对比不同超参数的影响它并不能告诉你这个模型在别的划分下表现如何。真正评估稳定性应该跑多组不同种子看结果的分布。比如跑 10 次得到测试集 RMSE 的均值 0.42、标准差 0.06说明模型比较稳如果均值 0.42、标准差 0.25那就是某一次运气好换数据就废。3.3 从 trainlm 切到 trainscg、trainbr 的时机trainlm 是默认算法也是小中型网络参数量几千以内上收敛最快的因为它利用了二阶信息。但它的代价是内存需要存储近似海森矩阵参数量上万之后内存会吃紧训练速度断崖式下跌。这时候换 trainscg量化共轭梯度它只用一阶信息内存占用小得多虽然单轮慢、总轮数多但在大网络上总时间反而更短。判断标准很简单如果你的网络参数量在几千以内、内存没报警就用 trainlm如果训练时明显卡顿或者报内存相关的错误换 trainscg。trainbr贝叶斯正则化是另一个方向。它不靠早停防过拟合而是通过自动调整正则强度来控制有效参数数量理论上能给出泛化更好的模型特别适合小样本。但它有两个必须知道的特点一是训练慢因为它要在每个 epoch 计算有效参数数量二是它不使用验证集做早停官方建议配合dividetrain把数据全给训练集。很多人用 trainbr 却保留了默认的 70/15/15 划分结果验证集那 15% 的数据白白浪费模型性能反而不如预期。算法内存占用收敛速度防过拟合机制推荐场景trainlm高快依赖验证集早停 L2参数量几千以内样本充足trainscg低中等依赖验证集早停 L2大网络、内存受限trainbr中等慢自动正则不需早停小样本、追求泛化trainrp低中等依赖验证集早停模式分类类任务选算法的时候不要抱着默认最好的想法。默认 trainlm 是因为它在大多数教学示例的数据规模上表现好但你的数据规模未必和示例一样。4. 完整实操从一个回归任务走完全流程4.1 数据准备与列向量方向这一步是新手翻车率最高的地方必须先讲。工具箱的数据方向是列是样本输入矩阵 X 的尺寸是 R×NR 是特征数N 是样本数目标矩阵 T 的尺寸是 V×N。这和很多其他框架行是样本的约定正好相反。你要是按习惯把数据摆成 N×R 塞进去网络不会报错它会认为你有 N 个特征、R 个样本然后默默训出一个莫名其妙的东西。养成习惯训练前先打一行尺寸检查fprintf(X: %d x %d, T: %d x %d\n, size(X,1), size(X,2), size(T,1), size(T,2)); assert(size(X,2) size(T,2), X 和 T 的样本数不一致);第二个要检查的是常数列。如果某个特征在所有样本上取值都一样它提供的方差为零对模型没有任何贡献反而会让权重不可辨识。工具箱的 removeconstantrows 会自动处理但你应该主动查一遍因为一个特征恒定的原因往往是数据读取出错比如某列全是默认填充值而不是它真的没变化。第三个是缺失值。feedforwardnet 不会自动处理 NaN一个 NaN 进去整个训练过程会输出一堆 NaN 然后结束而且不一定报错。训练前sum(isnan(X(:)))查一下该删的删、该插补的插补。至于归一化如前面所说工具箱默认会做 mapminmax。但要注意它是在训练集上统计 min/max 的然后把这套参数应用到验证集和测试集。这是正确的做法——如果用全体数据统计 min/max就是把测试集的信息泄漏到了训练过程里。所以千万别在喂数据之前自己用全体数据做一次归一化那等于提前作弊。4.2 网络构建与训练参数配置下面是一段我常用的配置模板参数含义都写注释了可以直接改数据复用rng(42); % 固定随机种子保证划分可复现 nIn size(X, 1); nHid1 12; nHid2 6; % 两层小网络参数量比单层20更省 net feedforwardnet([nHid1 nHid2], trainlm); net.layers{1}.transferFcn tansig; net.layers{2}.transferFcn tansig; net.layers{3}.transferFcn purelin; % 回归任务输出层保持线性 net.performFcn mse; net.performParam.regularization 1e-3; % L2 系数先给 1e-3 net.divideFcn dividerand; net.divideParam.trainRatio 0.70; net.divideParam.valRatio 0.15; net.divideParam.testRatio 0.15; net.trainParam.epochs 800; % 上限实际多半被早停截断 net.trainParam.goal 1e-5; % 目标性能达到就停 net.trainParam.max_fail 15; % 验证集连续15轮不降就停 net.trainParam.min_grad 1e-7; % 梯度过小认为收敛 net.trainParam.showWindow true; % 训练窗口调试时开着方便看曲线 [net, tr] train(net, X, T);几个参数值得单独说。epochs设 800 不代表真会跑 800 轮因为有早停绝大多数情况会在一两百轮就结束。设大一点是为了给慢收敛的情况留余地成本几乎为零。max_fail默认是 6我一般调到 15因为样本少的时候验证误差曲线抖动大6 轮太容易误判过早停止反而不好。但这个值也不能太大否则早停失去意义。goal设成 1e-5 是个经验值。如果你的目标值量级很大比如几千1e-5 的 mse 根本达不到这个条件形同虚设实际是用早停来终止如果目标值量级很小比如 0.001 级别1e-5 可能一开始就达到了训练立刻结束模型基本没学到东西。所以 goal 应该和目标值的量级匹配粗略地取目标方差的一个小比例比较合理。4.3 训练过程解读与模型固化train 返回的第二个输出 tr 里装着整个训练过程的记录这是排查问题的主要依据。几个字段必须会看tr.trainInd、tr.valInd、tr.testInd是划分后的索引tr.best_epoch是验证误差最小的那一轮tr.best_vperf是那一轮对应的验证性能tr.stop是一个字符串告诉你训练为什么停下来。tr.stop的取值直接对应不同的处理方向。Validation stop 说明早停生效模型在 best_epoch 附近达到最优这是最常见的正常结束。Maximum epoch reached 说明跑满了轮次还没收敛可能是 epochs 设太小、也可能是学习过程本身就慢需要看误差曲线判断。Performance goal met 说明达到了 goal如果 goal 设得太松这时候模型可能还没训好。Minimum gradient reached 说明梯度已经很小通常意味着到了局部极小或者已经收敛得差不多。拿到模型后先算三份误差别只看训练集Ytr net(X(:, tr.trainInd)); Yva net(X(:, tr.valInd)); Yte net(X(:, tr.testInd)); rmse (a,b) sqrt(mean((a-b).^2)); fprintf(train RMSE %.4f | val %.4f | test %.4f\n, ... rmse(Ytr, T(:,tr.trainInd)), ... rmse(Yva, T(:,tr.valInd)), ... rmse(Yte, T(:,tr.testInd)));这三组数字的关系最能说明问题。如果训练误差低、验证和测试误差高一截是过拟合如果三者都高且接近是欠拟合如果训练低、验证低、测试高那多半是测试集太小或者划分不均属于运气问题多跑几个种子看看。模型确认可用之后建议固化下来别每次都重新训练。最省事的办法是直接保存 net 对象save(ffnet_model.mat, net);但这样有个依赖问题——新环境得装同样版本的工具箱。更彻底的方案是把网络导出成独立的函数文件genFunction(net, myFFNet); % 之后用法y myFFNet(x);生成的函数里把权重、偏置、归一化参数全都硬编码进去了不依赖 net 对象甚至可以脱离工具箱单独运行前提是预处理用到的函数得自己实现或保留。我在需要把模型交付给不熟悉工具箱的同事时一律用这个方式省去大量沟通成本。提示genFunction 必须在网络已经 configure 之后调用否则会报错。如果之前训练过net 已经是配置好的状态直接调用即可。5. 常见问题排查与避坑实录5.1 训练集完美、验证集崩盘这是最典型的过拟合形态训练集 RMSE 0.01验证集 0.8。看到这种数字不要急着调网络结构先按下面的顺序查。先查样本量够不够。参数量除以训练样本数超过 0.2 就要警惕了超过 0.5 基本注定过拟合。这时候正确的动作是砍节点数或者加正则而不是继续调学习率。再查数据划分有没有问题。如果数据本身是分组的比如同一个体的多次测量、同一批次的多个样本随机划分会把同一组的数据同时分到训练集和验证集造成泄漏式过拟合——模型在验证集上看起来好是因为它见过同源的样本。这种时候必须按组划分用 divideind 手动指定保证同一组的数据只出现在一个集合里。然后查特征里有没有未来信息。这在工程数据里极其常见比如某个特征其实是事后计算出来的结果值那模型当然能轻松拟合但上线就废。判断方法是看这个特征在预测时点是否真的可获得。最后才是调正则和早停。把performParam.regularization往上调一个数量级把max_fail调小到 6再跑一遍看验证误差有没有改善。5.2 训练完全不动误差一条直线这种表现通常是梯度消失或者数据尺度问题。查两件事一是输入里有没有极端值把某个特征的取值范围拉到 1e6 级别mapminmax 之后其他特征全被压成一条线相当于只有一个特征在起作用。二是传递函数有没有饱和tansig 在输入绝对值超过 3 之后梯度接近零如果隐藏层的加权输入长期处在饱和区训练就完全停滞。对应的处理先做离群值截断比如按 1% 和 99% 分位数做 winsorize或者改用 elliotsig 这类不易饱和的传递函数。我遇到过一次这种问题排查了半天网络结构最后发现是某一列数据单位错了混进了几个 1e8 量级的值把它们修掉之后训练立刻就正常了。5.3 常见问题速查表现象最可能的原因优先动作训练/验证误差都高且接近欠拟合增加隐藏层节点或层数减小正则系数训练误差低、验证误差高过拟合加正则、减节点、增样本、调小 max_fail损失变 NaN输入含 NaN 或 Inf或学习率过大检查数据完整性降低初始步长训练几轮就停goal 设得过松或 max_fail 过小按目标量级重设 goalmax_fail 提到 15每次训练结果差异极大样本少 随机划分固定种子或改用交叉验证或按顺序划分验证误差曲线剧烈抖动验证集样本太少加大 valRatio或换交叉验证仿真结果和训练时对不上手动归一化和自动归一化混用统一交给工具箱或全程手动并保存参数新数据预测全是一个值新数据落在训练分布之外tansig 饱和检查特征分布考虑 elliotsig 或外推裁剪5.4 几条压箱底的经验第一条多初值取最优比调结构更划算。前馈网络的损失函数非凸初始权重不同会落到不同的局部极小结果差异有时能到 30%。与其纠结 12 个节点还是 14 个节点不如固定结构跑 10 次不同初值按验证集挑最好的那个bestNet []; bestVal inf; for k 1:10 rng(k); netk feedforwardnet(12, trainlm); netk.divideParam.trainRatio 0.70; netk.divideParam.valRatio 0.15; netk.divideParam.testRatio 0.15; netk.trainParam.showWindow false; [netk, trk] train(netk, X, T); if trk.best_vperf bestVal bestVal trk.best_vperf; bestNet netk; end end注意这里每次循环都重新 rng(k)是为了让数据划分和权重初始化都不同。如果你希望划分固定只变初值就把 rng 放在循环外面然后在循环里用 divideind 锁定索引。这两种做法的含义不同前者评估的是模型划分的整体稳定性后者评估的是在固定划分下的初值敏感性。做模型选型我用前者做调参对比我用后者。第二条别用测试集调参。听起来是废话但实际操作中太容易破功了。你看到测试集结果不好回头改了个参数再跑这时候测试集就已经参与了决策它给出的数字不再是泛化估计。规范做法是只在验证集上做选择测试集跑一次就封存。如果实在忍不住调了至少在报告里说明这一点。第三条小样本优先考虑 trainbr。前面提过trainbr 用自动正则代替早停在小样本场景下通常比 trainlm 早停更稳。用它的时候记得把划分改成dividetrain让所有数据参与训练否则验证集那部分就浪费了。代价是训练慢但小样本本来数据量就小慢也慢不到哪去。第四条记录每次实验的配置。这个习惯看起来笨但真的省时间。我的做法是在脚本开头拼一个字符串把关键超参数和结果一起写进日志文件tag sprintf(h%d-%d_reg%.0e_ep%d, nHid1, nHid2, ... net.performParam.regularization, net.trainParam.epochs); fprintf(%s | val %.4f | test %.4f | stop: %s\n, ... tag, rmse(Yva, T(:,tr.valInd)), rmse(Yte, T(:,tr.testInd)), tr.stop);跑上二三十组之后回头看日志哪个参数区间有效一目了然。凭记忆回溯上次那个效果不错的配置是什么来着是最浪费生命的事情之一。第五条先跑一个线性基线。在动用神经网络之前先用最小二乘或者简单的线性回归跑一遍得到一个基准误差。如果神经网络只能比线性基线好 3%那大概率是特征本身信息量不足堆模型没用如果能好 50%说明非线性关系确实存在值得继续投入。这个动作只需要几分钟但能避免你在一个注定没有提升空间的方向上耗掉几天。我在实际项目里的体会是feedforwardnet 这类工具的门槛从来不在会不会调用而在知不知道自己调的是什么。默认参数能跑通示例是因为示例数据被精心挑选过换成自己的数据每一个默认值都得重新审视一遍。上面这些参数推导和排查顺序本质上就是把那些默认值背后的假设摊开来看——假设成立了就放心用不成立就改改完再验证。这个过程没法省略但走顺了之后你面对任何一个新的回归任务都能在半小时内搭出一个不丢人的基线模型剩下的时间才是真正花在提升精度上的。