极限学习机五大变体MATLAB实战：ELM、OSELM、KELM、SSELM、USELM避坑指南

简介本资源面向机器学习初学者与研究者系统整理了极限学习机ELM及其多种变体的MATLAB实现覆盖从有监督到半监督、无监督的完整学习范式。包内共31个文件以23个m脚本为核心辅以sinc_train、sinc_test、diabetes_train、diabetes_test等训练测试数据及mat、txt文件压缩包约451KB结构紧凑便于直接运行调试。内容涵盖基础ELM、正交ELMOSELM、核ELMKELM、半监督ELMSSELM与无监督ELMUSELM并配有demo示例脚本与多种激活函数实现可帮助读者快速搭建实验环境对比不同变体在回归与分类任务上的性能差异。已有1025人学习下载适合作为课程设计、论文复现或算法入门的实践参考通过调整核函数与参数可进一步适配复杂数据集。1. 从一次「训练 3 秒、调参 3 天」的翻车说起如果你手头有一批几千到几万条的工业传感器数据标签贵得要命想训个能跑在 PLC 边缘盒子上的分类器那你大概率绕不开极限学习机ELM这条线。它的核心卖点很朴素随机生成输入层到隐层的权重隐层输出矩阵用一次最小二乘就解完不需要反向传播迭代训练速度比 BP 神经网络快一到两个数量级。但真正上手你会发现单隐层 ELM 在数据一多、隐层节点一涨的时候pinv那一步直接吃满内存在线场景下新样本来了只能全量重训核方法 KELM 精度上去了但核矩阵是 N×NN 过万就卡死而无标签数据堆在硬盘里没人用半监督 SSELM、USELM 又不知道从哪下手。这篇笔记就围绕 ELM、OSELM、KELM、SSELM、USELM 这五个变体把 MATLAB 里能直接跑通的实现路径、参数怎么设、哪一步最容易翻车讲清楚。适合两类人一类是刚接触 ELM、想拿一份能改的 MATLAB 代码跑通自己数据的新手另一类是已经用过 ELM、但被在线更新和半监督卡住的熟手。下面所有代码都是按「一个函数一个变体」组织的你可以直接拼成一个工程目录。2. ELM 与 OSELM从批量最小二乘到在线递推2.1 为什么 ELM 能一次解完OSELM 又为什么要递推先把 ELM 的数学骨架摆出来。给定 N 个样本 $(x_i, t_i)$隐层节点数 L激活函数 g随机生成输入权重 W 和偏置 b 后隐层输出矩阵 H 是 N×L 的$$H g(WX b)$$输出权重 $\beta$ 通过最小化 $|H\beta - T|^2$ 得到解是 $\beta H^\dagger T$其中 $H^\dagger$ 是 Moore-Penrose 广义逆。这就是 ELM 全部的训练过程没有迭代、没有学习率、没有梯度消失。选它的理由很直接当你的特征维度不高、样本量在几千级别、又要求毫秒级推理时ELM 的性价比极高。OSELMOnline Sequential ELM解决的是「数据分批到达」的问题。它不去重算整个 $H^\dagger$而是用 Sherman-Morrison-Woodbury 公式递推更新输出权重。设第 k 批数据的隐层输出为 $H_k$递推公式是$$P_k P_{k-1} - P_{k-1}H_k^T(I H_kP_{k-1}H_k^T)^{-1}H_kP_{k-1}$$ $$\beta_k \beta_{k-1} P_kH_k^T(T_k - H_k\beta_{k-1})$$其中 $P (H^TH)^{-1}$。这个递推的关键在于每来一批新数据只做 L×L 规模的矩阵运算和总样本量 N 无关。这就是 OSELM 能在流式数据上跑的根本原因。2.2 用 MATLAB 跑通 ELM 的最小命令下面这段是 ELM 训练和预测的核心函数我一般把它存成elm_train.m和elm_predict.m两个文件。激活函数用 sigmoid隐层节点数先设 100 起步。function [beta, H] elm_train(X, T, L, act_func) % X: N x d 输入, T: N x m 目标, L: 隐层节点数 % act_func: sig | sin | relu N size(X, 1); d size(X, 2); rng(42); % 固定随机种子保证可复现 W rand(L, d) * 2 - 1; % 输入权重范围 [-1,1] b rand(L, 1); % 偏置范围 [0,1] H X * W repmat(b, N, 1); switch act_func case sig H 1 ./ (1 exp(-H)); case sin H sin(H); case relu H max(H, 0); end beta pinv(H) * T; % 核心一步广义逆求解 end逻辑说明rng(42)是为了让每次跑出来的随机权重一致方便你对比不同参数的影响不然调参时结果飘来飘去会怀疑人生。W和b的范围是经验值sigmoid 激活下 [-1,1] 和 [0,1] 比较稳。pinv(H)内部走 SVD当 L 接近 N 时会很慢这是后面避坑章节要重点说的。参数说明L是最关键的参数。太小欠拟合太大过拟合且pinv变慢。我一般从L round(sqrt(N))开始试再按 50 的步长往上加看验证集精度什么时候不再涨。act_func里 sigmoid 最通用sin适合周期性数据relu在特征稀疏时收敛更干脆。预测阶段就一行function Y elm_predict(X, W, b, beta, act_func) H X * W repmat(b, size(X,1), 1); switch act_func case sig, H 1 ./ (1 exp(-H)); case sin, H sin(H); case relu, H max(H, 0); end Y H * beta; end注意训练时算出的W、b必须存下来传给预测不能重新随机生成这是新手最常犯的错误之一。2.3 OSELM 的递推实现与初始化块大小OSELM 的代码比 ELM 多一个初始化阶段。第一块数据用来算初始 $P_0$ 和 $\beta_0$后续每块走递推。function [beta, P, W, b] oselm_train(X, T, L, block_size, act_func) N size(X, 1); rng(42); W rand(L, size(X,2)) * 2 - 1; b rand(L, 1); % 初始化块 X0 X(1:block_size, :); T0 T(1:block_size, :); H0 activate(X0 * W repmat(b, block_size, 1), act_func); P pinv(H0 * H0); beta P * H0 * T0; % 递推块 for k block_size1 : block_size : N idx k : min(kblock_size-1, N); Hk activate(X(idx,:) * W repmat(b, length(idx), 1), act_func); Tk T(idx, :); I eye(size(Hk, 1)); P P - P * Hk * ((I Hk * P * Hk) \ (Hk * P)); beta beta P * Hk * (Tk - Hk * beta); end end逻辑说明初始化块大小block_size必须大于等于隐层节点数 L否则 $H_0^TH_0$ 秩亏pinv出来的 $P$ 不可靠。递推里用左除\而不是inv数值稳定性更好。每块只做 L×L 的逆运算所以总耗时和 N 基本线性。参数说明block_size我一般设成2*L到5*L之间。太小递推次数多、累积误差大太大就退化成批量 ELM失去在线意义。如果你的数据是逐条到达的block_size1也能跑但要注意数值抖动建议加一个小的正则项。3. KELM核矩阵把精度拉上去也把内存吃干净3.1 核方法替代随机映射的逻辑ELM 的随机权重虽然快但隐层映射是「碰运气」的数据分布复杂时精度不稳。KELM 的思路是把隐层映射换成核函数用 Mercer 核直接算样本间的相似度等价于在无穷维特征空间里做最小二乘。输出权重解变成$$\beta \left(\frac{I}{C} \Omega\right)^{-1}T$$其中 $\Omega_{ij} K(x_i, x_j)$ 是核矩阵C 是正则化系数。预测时$$y(x) \begin{bmatrix} K(x, x_1) \ \vdots \ K(x, x_N) \end{bmatrix}^T \beta$$选 KELM 的理由小样本、高维特征、非线性边界明显的场景KELM 通常比 ELM 高几个点。代价是核矩阵是 N×NN10000 时单精度就要 400MBN50000 直接爆内存。3.2 KELM 的 MATLAB 实现与核参数选择function [alpha, X_train, K_param] kelm_train(X, T, C, kernel, K_param) % kernel: rbf | lin | poly N size(X, 1); Omega compute_kernel(X, X, kernel, K_param); alpha (Omega eye(N) / C) \ T; % 正则化最小二乘 X_train X; end function K compute_kernel(X1, X2, kernel, K_param) switch kernel case rbf % K_param 是 gamma D pdist2(X1, X2).^2; K exp(-K_param * D); case lin K X1 * X2; case poly K (X1 * X2 1).^K_param; end end逻辑说明Omega eye(N)/C这一步是 Tikhonov 正则化C 越大越接近硬间隔越小越平滑。用左除\解线性方程组比显式求逆快且稳。RBF 核的 gamma 参数控制核宽度gamma 太大核矩阵接近单位阵模型退化成最近邻太小则所有样本相似度都接近 1模型退化成常数。参数说明C 和 gamma 是 KELM 的两个命门。我一般用网格搜索C 取[1e-2, 1e-1, 1, 10, 100, 1000]gamma 取[1e-3, 1e-2, 1e-1, 1, 10]乘以特征维度的倒数。如果 N 超过 8000建议先做核矩阵的 Nyström 近似或者直接换回 ELM别硬扛。3.3 核矩阵内存爆炸前的三个信号第一个信号是 MATLAB 报Out of memory之前你会先看到pdist2那一步耗时突然从秒级跳到分钟级。第二个信号是任务管理器里 MATLAB 进程内存曲线变成一条陡峭的斜线。第三个信号是\求解时警告矩阵接近奇异。出现任何一个都说明你的 N 已经超出 KELM 的舒适区。这时候要么降采样要么改用随机特征近似把核映射近似成有限维随机特征再走 ELM 那套要么直接上 OSELM 分批处理。4. SSELM 与 USELM把无标签数据用起来的两种姿势4.1 半监督 ELM 的流形正则化框架SSELMSemi-Supervised ELM的核心假设是如果两个样本在输入空间里离得近它们的输出也应该接近。这个假设通过流形正则项加进目标函数$$\min_\beta |H\beta - T|^2 \lambda \text{Tr}(\beta^T H^T L H \beta)$$其中 L 是图拉普拉斯矩阵由有标签和无标签样本一起构建。解出来是$$\beta (H^TH \lambda H^TLH)^{-1}H^TT$$USELMUnsupervised ELM走的是另一条路没有标签那就用聚类或者重构误差来定义目标本质上是把 ELM 当成一个非线性降维或聚类工具。实际工程里 SSELM 用得更多因为半监督场景下你总归有几个标签。4.2 构建图拉普拉斯矩阵的 MATLAB 步骤function L build_laplacian(X, k, sigma) % X: 全部样本含有标签无标签, k: 近邻数, sigma: 热核宽度 N size(X, 1); D pdist2(X, X).^2; [~, idx] sort(D, 2); W zeros(N, N); for i 1:N nb idx(i, 2:k1); % 排除自身 W(i, nb) exp(-D(i, nb) / (2*sigma^2)); end W max(W, W); % 对称化 Dg diag(sum(W, 2)); L Dg - W; end逻辑说明k一般取 5 到 15sigma取样本间欧氏距离的中位数。W max(W, W)是为了保证对称性因为 k 近邻关系不一定对称。图拉普拉斯 L 是半正定的所以H^TLH也是半正定加上H^TH后整个矩阵可逆性有保障。参数说明正则化系数lambda控制无标签数据的影响强度。lambda 太大模型被图结构主导有标签信息被淹没太小则半监督退化成监督。我一般从lambda 0.1开始按对数刻度调到 10 左右看验证集表现。4.3 SSELM 训练函数与标签传播的衔接function beta sselm_train(X_labeled, T_labeled, X_unlabeled, L, lambda, act_func) X_all [X_labeled; X_unlabeled]; Nl size(X_labeled, 1); N size(X_all, 1); rng(42); W rand(L, size(X_all,2)) * 2 - 1; b rand(L, 1); H activate(X_all * W repmat(b, N, 1), act_func); Lmat build_laplacian(X_all, 10, median(pdist(X_all))/2); % 只对有标签部分算监督项 Hl H(1:Nl, :); beta (Hl * Hl lambda * H * Lmat * H) \ (Hl * T_labeled); end逻辑说明监督项只用有标签样本的 H 子矩阵正则项用全部样本的 H。这样无标签数据通过图结构影响 beta但不直接提供标签信息。build_laplacian里的近邻数固定 10 是经验值数据维度高时可以适当加大。参数说明lambda和近邻数k需要一起调。如果无标签数据量远大于有标签数据lambda 可以适当放大让图结构发挥更大作用。但要注意如果无标签数据本身噪声很大图结构会把噪声传播进模型这时候 lambda 反而要调小。5. 避坑与排查五个让我重跑实验的瞬间5.1 现象ELM 训练精度 99%测试精度 50%原因隐层节点数 L 设得太大pinv(H)把训练集里的噪声也拟合进去了。ELM 没有正则项L 接近 N 时就是插值泛化必然崩。解决加 L2 正则把beta pinv(H) * T改成beta (H*H eye(L)/C) \ (H*T)C 取 100 到 1000。或者直接把 L 降到sqrt(N)附近用验证集早停。5.2 现象OSELM 递推到第 50 批时输出变成 NaN原因$P$ 矩阵在递推中逐渐失去正定性数值误差累积导致(I Hk*P*Hk)接近奇异。解决每递推 20 批重新用当前所有数据算一次P pinv(H*H)做重置或者给递推公式加一个遗忘因子。另外检查block_size是不是小于 L秩亏是 NaN 的常见源头。5.3 现象KELM 在 N12000 时 MATLAB 直接卡死原因pdist2生成 12000×12000 的矩阵双精度下是 1.15GB加上Omega eye(N)/C又复制一份内存直接翻倍。解决用single精度算核矩阵或者分块计算Omega。更彻底的办法是换 Nyström 近似取 1000 个采样点构造低秩近似精度损失通常在 1 到 2 个点以内。5.4 现象SSELM 加了无标签数据后精度反而降了原因无标签数据里混入了和任务无关的样本图拉普拉斯把这些样本连到了有标签样本上标签信息被稀释。解决先对无标签数据做一次置信度筛选用有标签数据训一个初始 ELM只保留预测置信度高的无标签样本进图。或者把lambda降到 0.01 以下让监督项主导。5.5 现象五个变体代码混在一起改一个参数全崩原因没有统一的数据接口和参数结构体每个函数各管各的随机种子和归一化。解决把所有变体统一成train(X, T, opts)接口opts里放L、C、lambda、kernel等字段。归一化只在数据加载时做一次随机种子统一在顶层设。这样切换变体只改opts.method一个字段。6. 把五个变体塞进一个可切换的 MATLAB 工程真正让这套代码在项目里活下来的不是某个变体的精度而是你能不能在一分钟内从 ELM 切到 OSELM 再切到 SSELM而不改数据加载和评估代码。我的习惯是写一个顶层调度函数用opts.method控制走哪条分支所有变体共享同一份归一化和评估逻辑。function [model, acc] train_elm_family(X, T, opts) % opts.method: elm | oselm | kelm | sselm | uselm [Xn, ps] mapminmax(X, 0, 1); Xn Xn; switch opts.method case elm [beta, H] elm_train(Xn, T, opts.L, opts.act); model struct(beta, beta, ps, ps, opts, opts); case oselm [beta, P, W, b] oselm_train(Xn, T, opts.L, opts.block, opts.act); model struct(beta, beta, P, P, W, W, b, b, ps, ps); case kelm [alpha, Xt, kp] kelm_train(Xn, T, opts.C, opts.kernel, opts.gamma); model struct(alpha, alpha, Xt, Xt, kp, kp, ps, ps); case sselm beta sselm_train(Xn(1:opts.Nl,:), T(1:opts.Nl,:), ... Xn(opts.Nl1:end,:), opts.L, opts.lambda, opts.act); model struct(beta, beta, ps, ps); case uselm model uselm_train(Xn, opts.L, opts.act); end acc evaluate(model, X, T, opts); end逻辑说明mapminmax把数据归一化到 [0,1]ps结构体存归一化参数预测时必须用同一个ps做变换否则训练和推理的输入分布不一致精度会莫名其妙掉。evaluate函数根据opts.method调用对应的预测函数统一算准确率或 RMSE。参数说明opts建议用结构体一次性传字段包括method、L、C、lambda、kernel、gamma、block、act、Nl。这样你在脚本里改一行opts.method oselm就能切换不用动其他代码。验证方法上我一般用 5 折交叉验证跑一遍五个变体记录训练时间、测试精度、内存峰值三个指标。经验值是样本量小于 2000 时 KELM 精度最高但训练最慢样本量 2000 到 10000 时 ELM 和 OSELM 性价比最好有大量无标签数据且标签少于 10% 时 SSELM 能比纯监督高 3 到 8 个点。如果 OSELM 的在线精度比批量 ELM 低超过 2 个点先检查block_size是不是太小再检查递推有没有加正则。最后说个我自己的习惯每次换数据集先跑一遍L round(sqrt(N))的 ELM 作为基线把精度和耗时记在实验日志第一行。后面所有变体的提升都跟这个基线比不然很容易被 KELM 的高精度迷惑忘了它多花的那几十倍内存和时间到底值不值。希望帮到你。本文还有配套的精品资源点击获取