周志华与机器学习三十年：从集成学习到深度森林的演进之路

1. 从南园冬夜说起一个被反复追问的起点很多人第一次听说周志华这个名字是从那本被圈内人叫作西瓜书的《机器学习》开始的。封面上一颗切开的西瓜配着机器学习四个字几乎成了国内几代计算机专业学生共同的记忆锚点。但真正让南园冬夜这个意象在圈子里流传开的是另一个更早的故事——上世纪九十年代末南京大学南园的一间普通办公室里一个年轻人在冬夜里反复推演着关于集成学习的想法窗外是南京湿冷的冬雨桌上摊着的是当时国内几乎找不到中文资料的机器学习英文论文。这个场景之所以被反复提起是因为它恰好卡在中国大陆机器学习研究的一个关键转折点上。九十年代中后期国内做机器学习的人还非常少能查到的中文资料屈指可数大部分研究者要么在做模式识别要么在做神经网络的老路子。那时候机器学习这个词本身都还没有像今天这样成为一个全民热词它更像是少数人手里的一把冷门工具。而周志华从那时起就选择了一条后来被证明极其关键的路——集成学习也就是把多个弱学习器组合起来形成一个更强的学习器。为什么是集成学习这个问题值得展开说。当时主流思路是拼命把单个模型做得更强、更复杂但周志华和合作者看到的却是另一面单个模型再强也有天花板而多个模型之间的互补性才是真正被低估的资源。这个判断在后来二十年里被反复验证从AdaBoost到随机森林再到他自己提出的选择性集成这条线索一直贯穿始终。所谓选择性集成简单说就是不是把所有基学习器都用上而是挑出一部分表现好又彼此差异大的组合起来这样既降低了计算开销又提升了泛化能力。这个想法在今天看来很自然但在当时是需要勇气的——因为主流做法是多多益善。南园冬夜这个意象之所以动人还因为它代表了一种非常具体的研究状态没有现成的大规模算力没有铺天盖地的开源框架甚至连一个像样的中文术语表都要自己一点点攒。那时候做机器学习更多是靠纸笔推公式、靠小规模数据集反复验证一个想法从冒出来到写成论文周期比现在长得多。但也正是这种慢逼着研究者把每一个假设都想透把每一个数学细节都抠清楚。这种训练方式后来被证明是有回报的——当深度学习浪潮在2012年前后席卷而来时那些早年把基础打扎实的人反而能更快地判断哪些是新东西、哪些只是旧酒装新瓶。我之所以要从这个起点讲起是因为如果不理解这个起点就很难理解后来中国大陆机器学习三十年里那些看似跳跃的转向。从集成学习到深度森林从单打独斗到LAMDA团队的集体作战从冷门方向到全民热词这条线索不是断裂的而是一步步长出来的。接下来我会沿着这条线索把几个关键的技术节点和它们背后的判断逻辑拆开来讲尽量把为什么这样选说清楚而不是只罗列发生了什么。2. 集成学习这条主线从AdaBoost到选择性集成的判断逻辑2.1 为什么弱学习器组合起来会更强集成学习的核心直觉其实可以用一个生活化的类比来解释。假设你要判断一个西瓜熟没熟一个人看可能看走眼但如果你找五个各有侧重的人——一个看纹路、一个听声音、一个掂重量、一个看瓜蒂、一个看底色——然后把他们的判断综合起来出错的概率通常会比任何单个人都低。前提是这五个人不能是同一个模子刻出来的得各有各的视角也就是要有差异性。这个直觉背后有比较严格的数学支撑。以AdaBoost为例它的做法是串行地训练一系列弱分类器每一轮都提高上一轮分错样本的权重让新的分类器更关注那些难啃的骨头。最后把这些弱分类器加权投票权重取决于每个分类器自己的准确率。理论上可以证明只要每个弱分类器的准确率略高于随机猜测最终集成的错误率会随着基学习器数量增加而指数级下降。这个结论在当年是非常振奋人心的因为它意味着你不需要找到那个完美模型只需要找到一堆还行的模型并且让它们互补。但这里有个容易被忽略的坑理论上的指数下降是有前提的前提是基学习器之间相互独立。现实中这个前提几乎不可能满足因为大家都是在同一份数据上训练的难免有相关性。所以实际做集成的时候差异性往往比单个基学习器的精度更重要。我见过不少初学者一上来就把每个基学习器调到最优结果集成之后提升非常有限原因就是几个最优模型长得太像了投票的时候等于同一个人投了五票。2.2 选择性集成到底解决了什么问题选择性集成这个想法用一句话概括就是从训练好的一堆基学习器里挑一个子集来用而不是全用。这听起来有点反直觉——好不容易训练出来的模型为什么要扔掉一部分原因有两个层面。第一个层面是计算和存储。当年做集成基学习器数量一多预测时的开销就线性增长存储模型本身也要占空间。如果能用一半甚至三分之一的基学习器达到差不多的效果那在实际部署时就是实打实的收益。第二个层面更本质有些基学习器不仅不帮忙还会拖后腿。如果某个基学习器和别的成员高度相关或者它在某些样本上系统性地犯错把它放进投票里反而会拉低整体表现。选择性集成的目标就是把这些害群之马识别出来剔除掉。具体怎么做选择常见思路有几种。一种是贪心法从空集开始每次加入一个能让当前集成性能提升最多的基学习器直到加不动为止。另一种是聚类法把基学习器按预测行为聚类每个簇里挑一个代表保证选出来的成员彼此差异大。还有基于排序的方法按某种指标给基学习器打分取前k个。这些方法各有优劣贪心法效果通常不错但计算量大聚类法快但依赖距离度量选得好不好。提示选择性集成里选择这个动作本身也是在学习所以要注意别在训练集上选过头否则选出来的子集可能过拟合。常见做法是留一个验证集专门用来做选择或者用交叉验证的方式估计每个候选子集的泛化性能。2.3 从理论到工具这条线怎么落到实际项目里集成学习最大的好处是鲁棒。在实际项目里你拿到的数据往往有噪声、有缺失、分布还可能漂移单个复杂模型很容易在这些情况下崩掉而集成模型因为有多票兜底通常更稳。这也是为什么在Kaggle这类竞赛里集成方法长期霸榜——不是因为它最先进而是因为它最不容易翻车。落到具体操作上如果你现在要做一个分类任务一个比较稳妥的起步方案是先用决策树做基学习器跑随机森林看看基线如果效果不够再上梯度提升树比如XGBoost、LightGBM这类如果数据量特别大或者特征维度特别高可以考虑用Bagging思路做并行化。这里的关键是先建立基线再优化而不是一上来就堆最复杂的模型。我自己的习惯是任何新数据集到手先跑一个随机森林它的表现基本能告诉你这份数据的难度水位在哪里。还有一个经验特征工程对集成模型的影响往往比对单模型更大。因为集成模型是靠多个视角投票的如果你给每个基学习器喂的特征子集不同天然就增加了差异性。这就是随机森林里随机选特征那一步的用意——它不仅是为了去相关也是在人为制造多样性。所以在实际项目里与其花大力气调基学习器的超参数不如先想想怎么从特征层面制造出有意义的差异。3. 深度森林当深度学习浪潮打过来时的一次回应3.1 深度学习崛起带来的那个问题2012年之后深度学习在图像、语音这些领域一路高歌猛进整个圈子的注意力几乎被吸走了。这时候一个很自然的问题摆在所有做传统机器学习的人面前是不是以后所有问题都要用深度神经网络来解决这个问题在当时是有点压迫感的因为深度网络在不少任务上确实把传统方法甩开了一大截而且它有个很吸引人的特点——端到端特征都不用你手工设计了。但周志华在多个场合表达过一个观点大意是深度神经网络的成功很大程度上得益于它的深度结构也就是多层级的特征表示而不一定非得是神经网络这个具体形式。换句话说深度是本质神经网络只是实现深度的一种方式。这个判断直接催生了深度森林Deep Forest这个工作也叫gcForest。这个思路的价值在于它把深度从一个特定模型架构里解放出来变成了一种更一般的设计原则。如果深度可以用非神经网络的方式实现那就意味着在很多数据量不大、或者对可解释性有要求的场景里我们不一定非要上深度网络。这个判断后来被不少实验支持——深度森林在中小规模数据上的表现经常能和深度网络掰手腕而且超参数少得多训练也更容易并行。3.2 深度森林到底是怎么深起来的深度森林的结构可以这样理解它不是一层层神经元而是一层层的森林。每一层里包含若干个随机森林和完全随机森林每个森林对输入做预测输出的类别概率向量和原始特征拼在一起作为下一层的输入。这样一层层往下走特征的表示就越来越抽象越来越深。这里有个关键设计叫多粒度扫描。简单说就是用不同大小的滑动窗口去扫原始特征产生不同粒度的特征子集再分别喂给不同的森林。这个做法的用意是模拟卷积网络里感受野的概念——让模型能同时看到局部细节和稍大范围的模式。比如做序列数据时窗口大小不同捕捉到的依赖长度就不同小窗口看相邻几个点大窗口看一整段趋势。为什么这个设计重要因为它解决了传统森林的一个短板森林本身对特征的空间结构不敏感。普通随机森林是把所有特征平等对待的它不知道哪些特征在空间上相邻、哪些有先后顺序。多粒度扫描相当于给森林补上了这双眼睛让它能利用数据里的结构信息。这也是深度森林能在图像、序列这类有结构的数据上表现不错的原因。3.3 什么时候该考虑深度森林而不是深度网络这个问题没有标准答案但可以给几个判断维度。第一是数据量。深度网络通常需要大量数据才能发挥优势数据少的时候容易过拟合而深度森林对数据量的要求相对低一些在小数据集上往往更稳。第二是调参成本。深度网络的超参数多如牛毛学习率、批大小、层数、每层宽度、激活函数、正则化方式随便一个调不好效果就崩。深度森林的超参数少得多主要是层数、每层森林数量、树的数量这些调起来快很多。第三是可解释性。森林模型可以输出特征重要性能告诉你哪些特征对判断贡献大这在一些需要解释决策的场景里很重要。但也要说清楚它的局限。深度森林在超大规模数据上尤其是图像这种像素级任务上目前还是比不过精心设计的深度网络。它的优势区间更多是在表格数据、中小规模数据、需要快速建立基线的场景。我自己的经验是拿到一份结构化数据如果样本量在几万到几十万这个量级深度森林经常是一个性价比很高的选择——训练快、调参少、效果稳。注意深度森林虽然叫深度但它并不是越深越好。实际用的时候层数太多反而可能因为每层的信息损失而掉点。一般从两三层开始试看验证集表现再决定要不要加深。4. LAMDA一个团队如何把研究方向做成生态4.1 从一个人到一个团队的转变意味着什么早期做研究一个人一支笔就能推进但到了集成学习、多标记学习、弱监督学习这些方向同时铺开的时候单打独斗就不够了。LAMDALearning And Mining from DatA这个团队的成立本质上是为了解决一个很现实的问题研究方向多了怎么保证每个方向都有人持续深耕而不是东一榔头西一棒子。这个转变的意义比表面看起来大。一个人做研究选题往往受限于个人精力和兴趣容易追热点或者浅尝辄止。而一个团队可以同时铺开几条线每条线上有人做理论、有人做算法、有人做应用形成互补。更重要的是团队内部可以形成一种内部评审机制——一个想法在组会上被反复质疑、打磨比一个人闷头想更容易发现漏洞。这种机制在机器学习这种既需要数学严谨又需要实验验证的领域里特别重要。LAMDA这些年输出的工作覆盖了集成学习、多标记学习、弱监督学习、度量学习、因果学习等多个方向而且不少工作之间是有内在联系的。比如多标记学习里标记之间有关联这个观察和集成学习里基学习器之间有差异这个观察在方法论层面是相通的——都是在处理多个元素之间如何协同的问题。这种跨方向的迁移能力是团队作战才能养出来的。4.2 团队作战在机器学习研究里的具体优势机器学习研究有个特点想法和验证之间隔着一条很长的工程链。你有一个理论上的改进要证明它真的有用得写代码、跑实验、调参数、做对比、分析结果这一套下来工作量巨大。一个人做可能一个想法从产生到发表要一年一个团队做分工明确的话几个月就能跑通。具体分工可以是这样有人负责理论推导把收敛性、泛化界这些数学问题理清楚有人负责算法实现把想法变成可运行的代码有人负责实验设计确保对比公平、指标合理还有人负责写论文和做展示。这种分工不是简单的流水线而是需要频繁沟通的——理论的人要知道实验里发现了什么反常现象实验的人要理解理论假设在什么条件下成立。LAMDA的组会文化在这方面起了很大作用大家互相听、互相挑刺很多好想法就是在这些讨论里冒出来的。还有一个容易被低估的优势是数据积累和代码复用。一个团队做久了会攒下一批常用的数据集、评测脚本、基线代码新来的学生不用从零开始可以直接站在前人的肩膀上。这看起来是小事但实际能省下大量时间。我见过不少单打独斗的研究者每换一个课题就要重新搭一遍实验环境效率损失非常大。4.3 从LAMDA看国内机器学习研究的整体转向LAMDA的成长轨迹某种程度上是国内机器学习研究整体转向的一个缩影。早期国内做机器学习的人少能发在国际顶会上的工作也少很多研究是跟着国外走。但到了2010年前后情况开始变化——国内团队开始在一些细分方向上做出有影响力的工作从跟随变成并跑再到某些点上领跑。这个转向背后有几个因素。一是人才储备上来了高校里做机器学习的组越来越多学生的基础也越来越好。二是算力条件改善了以前跑不动的大规模实验现在能跑了。三是交流渠道变多了国际会议、合作项目、开源社区让国内研究者能更快地接触到前沿。LAMDA在这个过程中扮演了一个节点的角色——它既是一个研究团队也是一个人才培养基地很多从这里走出去的人又去了其他高校和企业把方法和文化带到了更广的地方。这个生态效应是单个研究者很难产生的。一个人再强影响力也有限但一个团队持续输出人才和成果就能在更大范围内改变一个领域的研究面貌。这也是为什么我在看国内机器学习三十年的时候会把团队建设单独拎出来讲——它不是一个附属话题而是理解整个领域如何从冷门走向繁荣的关键线索。5. 三十年里那些容易被忽略的转折点5.1 从方法导向到问题导向的转变早期做机器学习很多工作是我有个新方法找个数据集试试。这种思路不能说错但它容易导致一个后果方法越做越复杂但离真实问题越来越远。后来圈子里慢慢形成一种共识——应该从真实问题出发看需要什么样的方法而不是反过来。这个转变在集成学习这条线上体现得很明显。早期AdaBoost、Bagging这些工作更多是从算法层面推出来的但到了选择性集成、深度森林这些工作出发点变成了实际场景里有什么约束——计算资源有限、需要可解释、数据量不大。这种问题导向的思路让研究更接地气也更容易被工业界采纳。我自己在做项目的时候越来越体会到这个转变的重要性。以前拿到一个任务第一反应是用什么模型现在第一反应是这个任务的瓶颈在哪里——是数据不够、特征不好、还是评价指标不合理把瓶颈找对了方法往往就水到渠成找不对再花哨的模型也是白搭。5.2 开源与教育如何改变了整个领域的门槛如果说有一个因素在过去三十年里最大程度地降低了机器学习的入门门槛那一定是开源工具和系统化教育。早期学机器学习你得自己实现算法、自己搭实验框架光是调通一个SVM可能就要花好几天。现在有了scikit-learn、PyTorch、TensorFlow这些工具几行代码就能跑起来一个基线模型。周志华的《机器学习》教材在这个过程里扮演了特殊角色。它把原本散落在英文论文里的知识用中文系统性地梳理了一遍而且讲得足够清楚让本科生也能看懂。这本书的影响很难量化但一个可以观察到的现象是很多国内学生是靠着这本书建立起对机器学习的基本认知然后才去读论文、做项目的。教材和开源工具一起把入门这件事从少数人的特权变成了大多数人的起点。但门槛降低也有另一面。工具好用容易让人跳过对原理的理解直接调包。我见过不少同学能跑通模型但说不清为什么这么设计遇到问题就不知道从哪下手。所以我的建议一直是工具可以先用起来但原理要补上。至少要知道你调的那个参数在数学上对应什么不然调参就是瞎猜。5.3 当机器学习变成全民热词之后最近几年机器学习人工智能这些词已经彻底出圈了从专业术语变成了大众词汇。各种热搜词、考试题、大作业、职业画像都在说明这个领域已经渗透到了教育和就业的方方面面。这是好事说明领域有活力、有需求但也带来一个问题热词和实质之间的距离被拉大了。比如机器学习和计算机视觉和机器学习区别这类搜索词反映的是很多人还在概念层面打转。再比如各种期末复习、知识考试、大作业说明教学规模在扩大但教学质量参差不齐。这种情况下我觉得更需要有人把底层逻辑讲清楚而不是只追热点。因为热点会变但集成学习里差异性比精度更重要、深度森林里深度是本质而非形式这些判断是能穿越周期的。回到周志华和中国大陆机器学习三十年这个主题我觉得最值得记住的不是某个具体算法而是一种研究态度在冷门的时候能坐得住在热门的时候能想得清。南园冬夜那种安静推演的状态和后来浪潮转向时的清醒判断其实是同一种能力的两个侧面。这种能力对今天任何一个想进入这个领域的人来说都仍然是最值得培养的。6. 如果今天要复现这条路径我会怎么做6.1 从集成学习入手建立第一套方法论如果你现在刚开始学机器学习想找一条既有理论深度又能快速见效的路径我会建议从集成学习入手。原因很简单它的数学门槛相对可控但涉及的核心概念——偏差方差权衡、泛化、差异性、投票机制——是理解整个机器学习的基础。而且集成学习的工具链非常成熟scikit-learn里几行代码就能跑起来反馈快容易建立信心。具体操作上我建议按这个顺序走先用决策树跑一个单模型观察它的过拟合情况然后上随机森林看集成带来的提升再手动实现一个简单的AdaBoost理解加权和关注错分样本是怎么回事最后试试选择性集成自己写一个贪心选择的小脚本。这一套走下来你对为什么集成有效会有切身体会而不是停留在公式层面。提示手动实现AdaBoost的时候建议用一个小数据集比如iris或者手写数字的子集这样每一步的权重变化都能打印出来看理解起来直观得多。6.2 深度森林的复现要点和常见坑深度森林的官方实现有Python版本但如果你想真正理解它建议自己从头搭一遍。核心模块有三个多粒度扫描、级联森林、以及每层之间的特征拼接。多粒度扫描那块关键是窗口大小的设置——窗口太小捕捉不到结构太大又会产生太多特征维度一般从数据本身的结构出发来选比如序列数据可以选3、5、7这种。级联森林那块常见坑是层数控制。官方实现里有个自动判断机制如果新加一层在验证集上没有显著提升就停止加深。这个机制很重要因为盲目加深不仅浪费计算还可能因为每层的信息压缩导致性能下降。我自己复现的时候一开始没加这个判断结果跑了十几层效果反而不如三层。还有一个坑是类别概率向量的拼接方式。每层森林输出的类别概率要和原始特征拼在一起传给下一层。这里要注意维度对齐以及是否需要做归一化。如果拼接后特征尺度过大会影响下一层森林的划分效果。这些细节在论文里不一定写得很细但实际做的时候会直接影响结果。6.3 把研究做成可持续的事一些个人体会最后说点偏软的经验。做机器学习研究尤其是想长期做下去我觉得有两件事特别重要。一是保持对基础问题的敏感。热点会变但模型为什么会过拟合集成为什么有效深度到底带来了什么这些基础问题是贯穿始终的。把这些问题想透了换什么方向都能迁移。二是找到能持续交流的圈子。一个人闷头做容易钻牛角尖有一群能互相挑刺、互相启发的人路会好走很多。LAMDA那种组会文化之所以有价值就是因为它把交流制度化了。我自己这些年最大的体会是慢就是快。早年那些看起来慢的功夫——推公式、读论文、手动实现算法——在后来的项目里都变成了直觉和判断力。工具会更新框架会换代但这种底层的判断力是换不掉的。南园冬夜那个场景之所以让人念念不忘大概就是因为它提醒我们真正重要的东西往往是在安静的时候长出来的。