Python机器学习网络入侵检测实战：数据到模型部署全解析

简介面向计算机相关专业正在准备课程设计或期末大作业的学生以及需要项目实战练习的机器学习学习者这份基于Python机器学习的网络入侵检测系统源码包提供了完整的入侵检测实现与配套数据帮助快速理解机器学习在网络安全管理中的应用。资源共16个文件以Python脚本为核心涵盖数据处理、CNN模型构建、训练与评估等环节同时包含KDD Cup数据集压缩包、XML项目配置和说明文档便于导入开发环境后直接阅读与调试整个压缩包仅17.52MB结构清晰。已有279人学习下载。代码经过严格调试解压即可运行读者可以对照源码与数据复现完整的网络入侵检测流程也可以在此基础上调整特征或网络结构扩展为课程设计或毕业设计的可交付成果整体方案完整适合快速上手与二次开发。1. 网络入侵检测不是模型竞赛是数据处理竞赛拿到这套基于python机器学习的网络入侵检测系统源码时很多人第一反应是去找训练脚本结果真正卡住他们的往往不是算法而是数据。网络流量本质是时间序列加高维混合特征几万行原始会话记录里既有duration、src_bytes这类数值型字段又有protocol_type、service、flag这样的离散型字段直接读出来扔给sklearn模型能跑但预测结果基本靠运气。这篇笔记把整套源码拆成数据预处理、特征工程、模型训练、实时检测四个环节来讲用的就是python和机器学习里最常用的一套库适合正在做安全方向毕设、或者想从传统规则匹配转到机器学习检测的工程师。先跑通离线检测再考虑在线实时是这条路最稳的走法。2. 数据从哪来先用NSL-KDD跑通再迁移到CICIDS2017网络入侵检测领域有个尴尬的现实公开数据集不少但能直接用来训练分类模型的就那么几个。大多数源码包自带的是NSL-KDD这份数据来自1998年的模拟军事网络环境虽然年代久远但胜在格式规整、量级适中做毕设和入门验证非常合适。真实生产环境的流量形态和1998年完全不同所以我的建议是先用NSL-KDD把整个管道跑通再换成CICIDS2017或UNSW-NB15验证一次这样既能看到模型在新数据上的泛化能力也能暴露很多在旧数据上根本不会出现的坑。2.1 NSL-KDD能当起点但它有三个硬伤NSL-KDD是KDDCUP99的清洗版本原始KDDCUP99里大量重复记录导致模型偏向多数类NSL-KDD把重复样本删掉了不少训练集大约12万条、测试集约2万条每条样本41个特征加一个标签攻击类型覆盖DoS、Probe、U2R、R2L四类加上normal共五类。41个特征里前9个是TCP连接基本属性中间13个是内容属性最后19个是基于时间的流量统计属性这个分组在后面做特征分析和消融时很关键。它的第一个硬伤是流量形态太老1998年的网络环境里没有TLS加密流量、没有物联网设备、也没有现代Web攻击的载荷特征。第二个硬伤是U2R和R2L这两类攻击样本极少即便在NSL-KDD里也只占个位数百分比直接拿全量数据训练二分类器这两类攻击几乎会被模型完全忽略。第三个硬伤是训练集和测试集来自同一个数据分布拿NSL-KDD训练再拿NSL-KDD测试指标普遍虚高换到真实抓包数据上F1通常会掉一大截。理解这三个问题你就不会因为测试集上95%的准确率而过于兴奋。2.2 读入CSV并统一列名清洗、目标编码、缺失值处理NSL-KDD的原始文件没有表头读取时要把41个特征名手动指定进去。下面这段代码我一般直接复制到项目里当基础模板列名清单不算好看但没有它后面所有代码都会错位。import pandas as pd from sklearn.preprocessing import LabelEncoder cols [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, ] label_col label # KDDTrain.txt 实际有43列最后一列是难度系数用usecols丢弃 df pd.read_csv(KDDTrain.txt, headerNone, namescols [label_col, difficulty], usecolsrange(42)) print(缺失值数量:, df.isna().sum().sum()) # NSL-KDD理论上没有缺失 print(标签分布:\n, df[label_col].value_counts()) # 把多分类标签折叠成二分类正常 vs 攻击 df[label_binary] df[label_col].apply(lambda x: 0 if x normal else 1) # 三个离散特征必须编码否则sklearn直接报错 for col in [protocol_type, service, flag]: le LabelEncoder() df[col] le.fit_transform(df[col]) # 注意这里保存一份le预测阶段还要用 print(col, le.classes_[:5], ...共, len(le.classes_), 个取值)这段代码的核心逻辑是先把43列原始数据裁到42列因为最后一列难度系数和检测任务无关然后检查缺失值NSL-KDD本身很干净但如果你换成CICIDS2017缺失值处理和无穷值清洗就会成为重头戏最后是离散特征的标签编码。service字段有70个左右取值直接用LabelEncoder没有任何问题但你要记住它在预测阶段不能处理新出现的字符串值这个坑在第5章会专门讲。protocol_type只有tcp、udp、icmp三种用OneHotEncoding也行但我个人在树模型上倾向LabelEncoder省一列少一点维度爆炸。2.3 划分训练集和测试集分层抽样与时间切分拿到清洗后的DataFrame下一步是切分数据。很多教程直接train_test_split(X, y, test_size0.3)不传stratify在类别不平衡的数据上这会让测试集的攻击比例和训练集不一致评估结果波动很大。NSL-KDD原始文件本身就分好了训练和测试如果你用自带文件就不存在这个问题但如果你像我一样喜欢把两份数据合并再自己切stratify是必选项。from sklearn.model_selection import train_test_split X df.drop(columns[label, label_binary, difficulty]) y df[label_binary] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) print(训练集正负比例:, y_train.mean().round(4)) print(测试集正负比例:, y_test.mean().round(4)) # 真实环境中流量是时间序列推荐按时间前80%训练、后20%测试 # df_sorted df.sort_values(timestamp_column) # split_idx int(len(df_sorted) * 0.8) # X_train, X_test df_sorted.iloc[:split_idx], df_sorted.iloc[split_idx:]stratify参数会根据y的类别比例做分层采样保证训练集和测试集里normal和attack的占比大致一致。如果你的数据自带时间戳字段我强烈建议再做一次按时间切分的对照实验用前80%时间段的流量训练后20%时间段测试这个结果更接近真实部署后的表现。原因很简单网络攻击手段在演化训练期和预测期的时间间隔越大数据分布偏移越严重这个指标差值就是你的模型在实际环境里要面对的落差。3. 把特征喂进模型归一化、模型选型与三个必调参数数据清洗完成只是第一步接下来要决定怎么把41个特征组织成模型能吃的样子。这一步常见的问题是数值特征要不要归一化、离散特征用LabelEncoder还是OneHotEncoder、类别不平衡要不要专门处理。我的经验是如果你用随机森林或XGBoost这类树模型归一化其实不是必需的树模型只关心特征值的排序关系对尺度不敏感做归一化只是为了保险但如果你后面想试逻辑回归或SVM做Baseline归一化就是刚需否则训练过程会非常慢。3.1 StandardScaler与数据泄露fit只能发生在训练集上数据泄露是这个环节最常见的翻车点场景是你拿全部数据做标准化再切分训练测试集结果模型指标虚高部署后全线崩溃。原因很简单测试集的信息在标准化那一刻已经泄露到训练过程里了。正确的做法是只在训练集上fit然后用同一组参数transform测试集。from sklearn.preprocessing import StandardScaler # 列出数值型特征列离散列单独处理 numeric_cols X_train.select_dtypes(include[int64, float64]).columns.tolist() # 把已经编码的protocol_type、service、flag也混在里面一起缩放也行 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train[numeric_cols]) X_test_scaled scaler.transform(X_test[numeric_cols]) # 把scaled结果转回DataFrame保留列名后面特征排序要用 import pandas as pd X_train pd.DataFrame(X_train_scaled, columnsnumeric_cols, indexX_train.index) X_test pd.DataFrame(X_test_scaled, columnsnumeric_cols, indexX_test.index)这段代码里最关键的是一行scaler.fit_transform(X_train[numeric_cols])fit只发生在训练集上。很多人习惯写成scaler.fit_transform(X)在切分前就做标准化这是典型的数据泄露。另外注意我用了scaler.transform(X_test)而不是重新fit这样测试集被缩放的方式和训练集完全一致模型在训练时看到的数值含义才能对齐。判断有没有数据泄露最简单的方法训练集和测试集的均值方差如果几乎相同多半是泄露了真实分布下测试集的统计量和训练集应该略有差异。3.2 随机森林打底XGBoost提精度关键参数怎么调模型选型上我一般不直接上深度学习网络入侵检测的表格特征用树模型已经能到很好的效果而且训练快、可解释性高。随机森林的好处是参数少、不容易过拟合适合当作第一版BaselineXGBoost在同样数据上通常能把F1再提升两三个点但调参成本也上来了。from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix # 三个必调参数n_estimators、max_depth、min_samples_leaf rf RandomForestClassifier( n_estimators300, # 树越多越稳但300棵之后收益递减 max_depth12, # 限制深度防止过拟合NSL-KDD上12~16比较合适 min_samples_leaf2, # 叶子节点最小样本数能有效抑制噪声分支 class_weightbalanced, # 给少数类更高权重缓解类别不平衡 n_jobs-1, # 用满所有CPU核心 random_state42 ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) print(classification_report(y_test, y_pred, target_names[normal, attack]))随机森林在小数据集上训练速度很快NSL-KDD这12万条数据不到一分钟就能跑完。参数上我踩过的坑是n_estimators往1000棵甚至2000棵加结果训练时间翻了几倍精度提升不到0.1%得不偿失。max_depth不限制的话树会疯狂长训练集准确率接近100%测试集却一塌糊涂。min_samples_leaf设大一点能显著提升泛化能力尤其在你的测试集和训练集分布有差异时。from xgboost import XGBClassifier # 用训练集正负比例计算scale_pos_weight pos y_train.sum() neg len(y_train) - pos xgb XGBClassifier( n_estimators200, learning_rate0.05, # 学习率调低树的数量相应增加 max_depth6, # XGB的深度习惯上比RF小一点 subsample0.8, # 每棵树随机采样80%样本防过拟合 colsample_bytree0.8, # 每棵树随机采样80%特征增强多样性 scale_pos_weightneg / pos, # 正负样本比对付类别不平衡 eval_metricaucpr, verbosity0, random_state42 ) xgb.fit(X_train, y_train, verboseFalse)XGBoost这边要提醒的是scale_pos_weight要按训练集实际的正负比例来算而不是拍脑袋填一个10或20。NSL-KDD的数据相对平衡这个值通常在1到3之间但如果换到CICIDS2017那种极不平衡的数据集这个值可能到几十甚至上百填错了模型会疯狂预测正类。我见过有人把这个参数从1调到100召回率上去了精确率掉到10%以下告警全在刷屏这就是调参没理解参数含义的结果。另一个经验是优先调max_depth和subsample这两个对最终指标的影响最直接learning_rate和n_estimators适合放在最后精细调。3.3 评估不看准确率看混淆矩阵和PR曲线入侵检测场景里accuracy是个极具欺骗性的指标。如果数据里98%是正常流量模型把所有样本都预测成normal准确率是98%看起来很好但攻击全漏了。所以评估要同时看recall、precision和F1其中recall代表攻击的检出率precision代表告警的准确率这两个指标此消彼长你必须根据业务侧重点取一个平衡。from sklearn.metrics import confusion_matrix, average_precision_score cm confusion_matrix(y_test, y_pred) print(混淆矩阵 TN FP / FN TP:) print(cm) prob_pos rf.predict_proba(X_test)[:, 1] aps average_precision_score(y_test, prob_pos) print(Average Precision:, round(aps, 4)) # 只看TP和FP的含义 tn, fp, fn, tp cm.ravel() print(f检出率(Recall): {tp / (tp fn):.3f}) print(f误报率(FPR): {fp / (fp tn):.3f})混淆矩阵里我关心的永远是左下角和右下角FN是漏报代表攻击流量没被识别这是安全场景最不能接受的FP是误报多了会淹没运营人员让他们对告警麻木。PR曲线的Average Precision比ROC的AUC更适合这个任务因为ROC对类别不平衡不敏感而入侵检测恰恰是重度不平衡场景。我的习惯是固定一个可接受的FPR上限比如1%然后在这个约束下最大化recall这才是把模型调给业务用而不是调给排行榜用。4. 离线到在线把模型包成能落地的检测接口训练完模型只是开头能不能把它变成每天能跑的检测服务才是关键。离线评估时你可以边跑边调实时检测面对的是源源不断的网络流量特征怎么提取、模型怎么加载、告警怎么输出、性能扛不扛得住全是新的问题。这一章的做法是常见方案里比较省事的一条路子把训练好的模型和预处理器整体导出再用scapy做旁路抓包解析最后把预测结果写进告警日志。4.1 保存模型和预处理器joblib导出与特征顺序清单训练完成后的第一件事是把模型、scaler、离散特征的编码器全部保存下来同时把特征列名也导出一份。这个习惯我是在吃过一次大亏之后才养成的当时只保存了模型重新加载后自己又拼了一遍特征结果列的顺序跟训练时不一样模型预测出的概率全乱了而且没有任何报错整个排查过程极其痛苦。import joblib import json # 模型、标准化器、标签编码器全部存盘 joblib.dump(xgb, models/xgb_nslkdd.joblib) joblib.dump(scaler, models/scaler.joblib) # 保存特征列顺序推理时按这个顺序构建向量 feature_order X_train.columns.tolist() with open(models/feature_order.json, w) as f: json.dump(feature_order, f) # 保存离散特征的编码器映射预测时用来转换新进来的字符串 encoders { protocol_type: {tcp: 0, udp: 1, icmp: 2}, # 实际从le.classes_导出 service: le_service.classes_.tolist(), flag: le_flag.classes_.tolist(), } with open(models/encoders.json, w) as f: json.dump(encoders, f)joblib是sklearn官方推荐的序列化方式它比Python自带的pickle对numpy数组和大型树模型的支持更好。但是joblib有个坑它和scikit-learn版本强绑定用0.24版本训练出的模型拿到1.3版本的环境里经常加载失败这个在第5章会展开讲。feature_order.json这个文件看似不起眼实际上是你做在线推理时最重要的参照物它保证了从抓包到预测的特征顺序永远和训练时一致。4.2 实时抓包复现特征scapy能做什么、不能做什么实时检测的难点在特征提取。模型需要的41维特征其中19个是基于连接统计的字段比如serror_rate、same_srv_rate这类这些特征需要一个TCP连接完整结束之后才能计算。单包抓取阶段你只能拿到duration、protocol_type、service、flag、src_bytes这些基础字段统计类特征全算不出来。from scapy.all import sniff, IP, TCP, UDP def packet_to_feature(pkt): 从单个IP包提取能拿到的部分特征统计特征无法在单包层面还原 if IP not in pkt: return None feat {} feat[duration] 0 # 单包无法计算持续时间占位 feat[protocol_type] 6 if TCP in pkt else 17 if TCP in pkt: feat[service] pkt[TCP].dport feat[flag] int(pkt[TCP].flags) feat[src_bytes] len(pkt[TCP].payload) elif UDP in pkt: feat[service] pkt[UDP].dport feat[flag] 0 feat[src_bytes] len(pkt[UDP].payload) else: feat[service] 0 feat[flag] 0 feat[src_bytes] 0 # 其余统计特征填0或均值这一步会导致精度下降需谨慎评估 return feat # 旁路抓包count0表示持续抓 # sniff(filtertcp, prnlambda pkt: print(packet_to_feature(pkt)), count0)这段代码展示的是单包内能提取的字段实际部署时剩下的统计特征我会全部填0或训练集均值这会造成精度损失。更稳妥的做法是放弃单包推理改用tshark把流量导出成CSV再复用离线管道做预测这样41维特征全都齐整。代价是延迟从毫秒级变成秒级但对大多数旁路检测场景来说秒级响应完全够用而且特征完整带来的精度提升远大于那点延迟损失。我自己在产品里就是这么干的抓包落盘→tshark转特征→模型打分三个步骤各管一块出问题好排查。# 用tshark把pcap导出成结构化特征注意字段顺序要和feature_order.json一致 tshark -r capture.pcap -T fields \ -e ip.len -e ip.proto -e tcp.dstport -e tcp.flags \ -E headery -E separator, online_features.csv用tshark而不是scapy解析大规模流量原因是性能差距非常大。scapy在纯Python层做协议解析处理十万个包就要好几秒tshark底层是C实现的Wireshark解析器几百万包也能扛得住。所以我的结论是scapy适合做小流量测试和教学验证生产环境的流量解析交给tshark。4.3 告警输出与置信度阈值让结果能进运营流程模型输出的是概率不是0或1。把概率直接阈值化成0/1会导致一个典型问题0.499和0.501的样本一个判正常一个判攻击但两者的置信度几乎没有区别。安全运营场景里我们希望看到的是连续分数加一个可调阈值这样运营人员可以根据当天的告警压力调整灵敏度。import logging from collections import deque # 阈值先设0.85宁可漏报不可刷屏后续根据真实误报率调整 ALERT_THRESHOLD 0.85 history deque(maxlen5) # 记录最近5次预测结果做滑动窗口确认 def predict_and_alert(feature_vector): prob xgb.predict_proba(feature_vector.reshape(1, -1))[0][1] is_alert 1 if prob ALERT_THRESHOLD else 0 history.append(is_alert) # 连续3次命中才告警过滤抖动和脉冲式误报 if sum(history) 3: logging.warning( 疑似攻击流量 prob%.3f 已连续命中%d次/最近%d次, prob, sum(history), len(history) ) return prob滑动窗口是压误报率性价比最高的手段它比单纯调阈值更符合安全运营的习惯单次高分可能是特征提取异常或偶发抖动但连续多次高分基本可以确认是恶意行为。阈值0.85配窗口3是保守配置适合误报成本高的场景如果你更在意检出率可以把阈值降到0.7窗口保持3代价是每天多出几十条需要人工核实的告警。这个参数没有最优解必须结合你所在网络环境的历史告警量来定。5. 避坑注意复现这套系统最容易翻车的5个地方从训练到部署这条链路上每一步都有隐藏的坑。下面五条是我自己复现这类项目时反复踩过的每一条都花了不止半天才定位到根因希望你能一次避开。5.1 训练准确率99%线上预测全废现象训练集和测试集上准确率、F1都很漂亮模型一部署到真实流量上预测结果几乎全是normal攻击流量全部漏报。原因这是典型的数据泄露。最常见的源头有两个一是在切分训练测试集之前就对全量数据做了fit_transform标准化统计量泄露了全局分布信息二是做特征选择时用了全量数据的标签相当于模型在训练前就已经见过测试集的答案。我在3.1里反复强调fit只能发生在训练集上就是这个原因。解决把所有预处理步骤包括scaler、编码器、特征选择器全部套进sklearn的Pipeline里pipeline.fit(X_train, y_train)然后pipeline.predict(X_test)这样能保证任何一步都不会提前接触测试集数据。换到在线检测时用joblib导出整个pipeline推理时直接pipeline.predict_proba。5.2 压缩包解压后脚本找不到数据文件现象从网上下载的源码zip解压后运行python train.py报错FileNotFoundError提示找不到KDDTrain文件。原因这类源码包通常有一层嵌套目录比如压缩包解开后是nids-project/里面又是data/子目录而脚本里的路径写的是相对路径./data/KDDTrain.txt当前工作目录和脚本所在目录不一致就找不到了。另外Windows下的解压工具和Linux的unzip行为有差异Windows会把中文文件名转成乱码Linux下某些工具还会生成__MACOSX这种垃圾目录。解决先看压缩包顶层结构如果有一层外层目录cd进去再跑脚本里用相对路径太脆改成正确定位经验上可直接改为获取脚本所在目录然后拼接数据路径这样无论从哪个目录执行都能找到数据文件。如果解压遇到zip伪加密或文件头损坏的报错用7-Zip或unzip -O gbk这类带编码参数的命令重试通常能解决。5.3 predict时报错could not convert string to float现象训练脚本跑通换成测试脚本后模型加载成功但predict阶段直接抛出ValueError: could not convert string to float: http_8001。原因测试数据或真实流量里出现了一个训练集的service字段里从未见过的字符串值比如新起的Web服务端口。你训练时用的LabelEncoder只学了训练集里的70个取值遇到第71个取值就不知道怎么编码只能抛异常。这本质上是离散特征泛化能力的问题。解决训练时改用OneHotEncoder(handle_unknownignore)这个参数会让编码器遇到新类别时全为0而不是报错。如果你坚持用LabelEncoder就必须在编码时维护一个“未知类映射”把训练集里没出现过的值统一映射到一个特殊序号。从长期维护的角度OneHotEncoder的handle_unknownignore更省心缺点是70个service取值会生成70列推高特征维度但对树模型来说问题不大。5.4 告警刷屏误报率高到没人看现象模型recall很高95%的攻击流量都能检出但一天下来几千条告警安全运营人员把告警日志关掉了等于没检测。原因recall高但precision低的模型只能说明它愿意把很多可疑流量都标成攻击。阈值设太低是直接原因比如默认0.5而你的数据分布里正常流量本身就有10%左右的概率被模型打出高分更深层的原因是训练数据来自NSL-KDD真实流量和它的分布差异大模型的概率输出整体偏高且校准度差。解决先看PR曲线找出precision和recall交叉点附近的阈值通常比0.5高得多。我在4.3里用的0.85就是基于这个思路设的。阈值定完再加滑动窗口连续多次命中才告警能把偶发误报滤掉一大半。如果还压不住就要回到特征层面看是不是某些特征在真实流量里的取值分布和训练集差太远这种情况调阈值已经不管用了需要补充真实样本做微调。5.5 joblib模型换机器后加载失败现象训练环境一切正常把模型文件和代码拷贝到另一台服务器后joblib.load(model.joblib)报错报错信息涉及ModuleNotFoundError或sklearn版本不匹配。原因joblib在保存树模型时会把sklearn的类路径写进文件比如sklearn.ensemble._forest.RandomForestClassifier如果目标环境的sklearn大版本不同内部模块路径变了load时就找不到类定义。XGBoost的版本兼容性更差1.6版本训练出的模型文件1.7版本直接load不回来也是常有的事。解决训练和推理环境必须固定同一套依赖版本项目里建一个requirements.txt把scikit-learn、xgboost、pandas、numpy的版本号全部锁死。跨机器传输时连同requirements.txt一起过去先建虚拟环境再装依赖再load模型。如果实在没法统一版本改用pickle的协议来dump和load旧版本模型在新版本里加载成功的概率会高一些但pickle本身有代码执行风险加载来历不明的模型文件时要谨慎。6. 进阶做法特征消融把模型压到能上旁路探针模型能跑通之后下一步就是考虑部署成本。真实环境里流量特征提取模块消耗的CPU远高于模型推理本身41维特征要从pcap里逐个字段解析每多一个字段就多一份耗时。所以模型上线前的最后一件事是砍掉那些对预测贡献不大的冗余特征把特征维度压到20个左右推理吞吐能翻一倍F1几乎不掉。6.1 用feature_importances做特征裁剪树模型天生自带特征重要性排序训练完成后直接查model.feature_importances_就能知道哪些特征在决策里贡献最大。NSL-KDD上我跑出来的结果是src_bytes、dst_bytes、count、dst_host_srv_count这些流量统计字段排在最前面。作用最强的几个集中在连接属性而urgent、num_outbound_cmds这类特征基本没用可以直接砍。import numpy as np from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import f1_score import time # 用完整的41维特征训练并测F1和推理耗时 rf_full RandomForestClassifier(n_estimators200, max_depth12, random_state42) rf_full.fit(X_train, y_train) y_pred_full rf_full.predict(X_test) f1_full f1_score(y_test, y_pred_full) # 按特征重要性排序取前20个 importances rf_full.feature_importances_ top20_idx np.argsort(importances)[::-1][:20] top20_cols X_train.columns[top20_idx].tolist() # 用裁剪后的20维特征重新训练 rf_reduced RandomForestClassifier(n_estimators200, max_depth12, random_state42) rf_reduced.fit(X_train[top20_cols], y_train) start time.time() y_pred_reduced rf_reduced.predict(X_test[top20_cols]) infer_time time.time() - start print(完整特征 F1:, round(f1_full, 4)) print(裁剪特征 F1:, round(f1_score(y_test, y_pred_reduced), 4)) print(裁剪后推理耗时:, round(infer_time * 1000, 2), ms)特征消融不是只看重要性排序就完事判断标准是F1的跌幅和推理耗时的降幅是否匹配。如果F1从0.96掉到0.95但推理耗时降了一半这笔交易就是划算的如果F1掉了两个点以上说明砍掉了关键信息需要把max_depth调深或者换另一种特征选择策略再试。我在真实项目里的做法是画一条“特征数量 vs F1”的曲线从10个特征开始逐步加到30个找到曲线变平的点这个点就是性价比最高的维度。最后提醒一句如果你用的是XGBoost特征重要性建议用gain而不是weight前者衡量的是特征带来的信息增益总和后者只是被使用的次数weight排名经常被大量低信息特征刷上去参考价值不大。做网络入侵检测这几年我最大的体会是模型只占这个系统的一小部分数据质量、特征口径、版本管理和告警策略才是决定成败的地方。手里这套源码跑通不难但真正要让它在一个真实的网络环境里稳定给出判断就得多花心思在那些看不见的细节上。希望这篇笔记能帮你少走一些弯路动手试的时候记得循序渐进我自己的习惯是先保留一份完整特征的模型作为对照再去做消融和调参这样每一步改动都有据可查。本文还有配套的精品资源点击获取