基于CNN的网络入侵检测实战：从NSL-KDD到模型部署

简介一份基于卷积神经网络的网络入侵检测系统完整源码包面向Python开发者、网络安全方向毕设与课设学生以及希望快速掌握CNN网络流量识别技巧的研究者解决网络流量自动分类与异常入侵识别问题模型准确率最高可达99.5%。资源共16个文件涵盖Python源码.py、CNN工程配置.xml/.iml、GZ压缩格式的KDDCUP数据集、训练日志及Markdown说明文档压缩包整体约17.52MB目录模块划分合理便于快速定位源码、数据与说明。目前已有350人学习可直接运行复现适合用于项目实践与二次开发。内容完整覆盖网络流量预处理、特征提取、CNN模型设计、训练、评估与优化全流程附带全部训练数据和脚本从数据读取到识别结果全程可运行代码同时保留了实时监控与警报思路方便结合真实场景做扩展改造也可作为毕业设计、课设或科研实验的高质量参考。1. 网络入侵检测遇上卷积神经网络99.5%正确率意味着什么在真实网络环境里入侵检测系统每秒要处理上万条连接记录。规则引擎的弊端是跟不上攻击变形传统机器学习又依赖大量特征工程。卷积神经网络提供了一个不同的思路把网络连接特征当作一条一维信号让卷积核自动找到局部特征之间的关联。99.5%的正确率听起来很吓人但它通常来自“二分类同分布随机划分”的实验条件。训练集和测试集来自同一份数据模型只需要区分正常和异常达到这个数字并不稀奇换成NSL-KDD的官方跨分布测试集或者做五分类正确率会明显回落。所以下面这些步骤要解决问题是拿到一份基于python和卷积神经网络的网络入侵检测系统源码从数据预处理到模型训练再到把模型封装成detect() 函数每一步有什么坑、参数怎么设、结果该怎么判读。2. 网络入侵检测数据预处理把NSL-KDD变成CNN能吃的张量模型结构写得再漂亮数据预处理错了也白搭。网络入侵检测系统的原始数据通常是一行一个连接记录包含协议类型、服务类型、连接状态、字节数等。CNN只能接受数值张量所以离散特征要编码连续特征要标准化最后还要把一维特征扩展出通道维度才能送入卷积层。2.1 为什么先选NSL-KDD做模型验证NSL-KDD是KDDCup99的修正版本去掉了原始数据集中大量重复记录训练集和测试集的样本难度也更均衡。它一共41个特征最后一个是标签适合用来验证“模型能不能学会正常与攻击之间的差异”。CICIDS2017数据量更大、背景流量更真实但预处理步骤繁琐通常用在模型定稿之后做最终评估不适合第一次调通代码。数据集样本量特征数适用阶段NSL-KDD训练约12.6万测试约2.2万41算法验证、教学、课程设计CICIDS2017约283万80生产级验证、性能压测下面这段代码假设压缩包解压后data目录下存在KDDTrain.txt和KDDTest.txtimport pandas as pd import numpy as np from sklearn.preprocessing import LabelEncoder # NSL-KDD每一行共42列前41列是特征最后一列是标签 train_df pd.read_csv(data/KDDTrain.txt, headerNone) test_df pd.read_csv(data/KDDTest.txt, headerNone) print(train_df.shape, test_df.shape) X_train train_df.iloc[:, :-1] y_train train_df.iloc[:, -1] X_test test_df.iloc[:, :-1] y_test test_df.iloc[:, -1]这里不使用列名而使用位置索引是因为NSL-KDD的原始txt文件本身没有表头手工维护41个列名对后续迭代帮助不大。如果换成CICIDS2017则建议直接用pandas的列名因为那个数据集的CSV自带表头。2.2 离散特征编码合并训练集和测试集避免unknown翻车NSL-KDD中第2、3、4列索引1、2、3分别是协议类型、服务类型和连接状态。这三个特征是离散字符串。CNN不接受字符串必须映射成整数。一个常见的坑是测试集里出现训练集没见过的service值如果只对训练集做LabelEncoder测试集在transform时就会抛异常。categorical_cols [1, 2, 3] # protocol_type, service, flag encoders {} for col in categorical_cols: le LabelEncoder() all_values np.unique(pd.concat([X_train[col], X_test[col]])) le.fit(all_values) X_train[col] le.transform(X_train[col]) X_test[col] le.transform(X_test[col]) encoders[col] le这里的核心是先把测试集和训练集合并起来fit。部署阶段遇到真正的未知值时再手动映射到-1这部分会在后面讲。合并fit之后所有已知离散值都有了固定编号不会因为测试集里多出一个新service而中断。2.3 标准化与训练测试拆分fit只允许出现在训练集网络流量的数值特征波动很大src_bytes可能从几十到几百万如果不做标准化卷积核权重的梯度很容易被极端值带偏。StandardScaler把连续特征变成零均值、单位方差是常见做法。from sklearn.preprocessing import StandardScaler cont_cols [i for i in range(X_train.shape[1]) if i not in categorical_cols] scaler StandardScaler() X_train_cont scaler.fit_transform(X_train[cont_cols]) X_test_cont scaler.transform(X_test[cont_cols]) X_train_proc np.hstack([ X_train[categorical_cols].values.astype(float32), X_train_cont ]).astype(float32) X_test_proc np.hstack([ X_test[categorical_cols].values.astype(float32), X_test_cont ]).astype(float32) # Conv1D输入要求 (batch, features, channels) X_train_cnn X_train_proc[..., np.newaxis] X_test_cnn X_test_proc[..., np.newaxis]scaler的fit必须只发生一次且只用在训练集上。标准化中的均值和方差属于训练集信息如果混进测试集或验证集会产生数据泄漏让评估结果比真实场景乐观。特征顺序也必须固定先拼类别列还是先拼连续列直接影响卷积核看到的局部结构这一点要写进项目注释。标签也顺手处理成二分类正常连接是0攻击是1。y_train_bin (y_train ! normal).astype(int) y_test_bin (y_test ! normal).astype(int)如果要做五分类把y_train用LabelEncoder整体编码模型输出层改成softmax损失函数用sparse_categorical_crossentropy。NSL-KDD的攻击类别有DoS、Probe、R2L、U2R其中R2L和U2R样本很少做多分类时更要关注类别权重。预处理写完后建议立刻检查X_train_cnn.shape并顺手打印特征均值。常见错误包括忘了把布尔型标签转成int或者StandardScaler作用于object列导致报错。还有一点容易忽略NSL-KDD的某些特征值范围极大例如src_bytes可以到GB级别不标准化时模型收敛会慢很多。虽然CNN本身对尺度有一定鲁棒性但标准化仍然是这个任务里最稳妥的做法。3. CNN入侵检测模型从一维卷积到汇聚层的可运行代码预处理完的数据形状是(samples, 41, 1)。这里41是特征数1是通道数。接下来要搭建卷积神经网络。Keras里的Conv1D专门处理一维序列正好对应网络连接记录的特征序列。3.1 为什么入侵检测用一维卷积而不是二维卷积网络连接特征本身是一维向量一维卷积核在特征维度上滑动kernel_size5表示每次覆盖5个相邻特征。如果强行把41个特征排成7x6的二维矩阵卷积核会在一张没有实际空间含义的平面上移动获得的局部关联往往是凑出来的。卷积神经网络结构图在入侵检测场景里可以简化为输入层 → 卷积层 → 汇聚层 → 卷积层 → 汇聚层 → 全连接层 → 输出。汇聚层在中文教材里也叫池化层作用是降采样和扩大感受野。MaxPooling1D取窗口内的最大值能让卷积核提取到的主要特征保留下来同时减少后续计算量。3.2 一个能直接训练的最小一维CNN模型from tensorflow.keras import layers, models input_shape (X_train_cnn.shape[1], 1) model models.Sequential([ layers.Conv1D(filters64, kernel_size5, activationrelu, paddingsame, input_shapeinput_shape), layers.MaxPooling1D(pool_size2), layers.Conv1D(filters64, kernel_size3, activationrelu, paddingsame), layers.MaxPooling1D(pool_size2), layers.Flatten(), layers.Dense(64, activationrelu), layers.Dropout(0.5), layers.Dense(1, activationsigmoid) ]) model.summary()第一层Conv1D的filters64代表卷积核数量64个卷积核能看到64种局部特征。kernel_size5表示每次看5个相邻特征paddingsame让卷积输出长度和输入一致。MaxPooling1D是汇聚层pool_size2把特征长度减半。Dropout(0.5)只作用于全连接层防止模型把训练集的噪声原样背下来。如果改成多分类只需要把最后一层换成Dense(num_classes, activationsoftmax)损失函数换成sparse_categorical_crossentropy其余结构不用动。3.3 模型训练三个必调参数和早停策略训练时不光要调卷积核数量还要关注batch size、初始学习率和早停策略。常见组合是batch_size128、learning_rate1e-3、patience5。import tensorflow as tf from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), lossbinary_crossentropy, metrics[accuracy] ) callbacks [ EarlyStopping(monitorval_loss, patience5, restore_best_weightsTrue), ReduceLROnPlateau(monitorval_loss, factor0.5, patience2, min_lr1e-5) ] history model.fit( X_train_cnn, y_train_bin, validation_split0.2, epochs30, batch_size128, callbackscallbacks, verbose1 )validation_split0.2表示在训练过程中随机切出20%数据当验证集不参与梯度更新。EarlyStopping监控val_loss5轮不降就停下来并恢复最佳权重。ReduceLROnPlateau则在验证损失进入平台期时把学习率减半避免在损失面上震荡。参数推荐值需要关注的地方filters64太小欠拟合太大会逼近训练集噪声kernel_size5、3控制局部特征的覆盖范围pool_size2缩小特征图保留主要激活值dropout0.5过拟合时增大欠拟合时减小batch_size128显存不足时降到64或32learning_rate1e-3训练不下降时改到3e-4或1e-4如果数据类别严重不平衡可以在model.fit里传class_weight例如攻击样本只占1%时设置{0: 1.0, 1: 10.0}。先使用value_counts统计样本比例再按逆频率设定这个字典。4. 正确率99.5%的评估陷阱混淆矩阵、AUC与训练分布训练脚本跑完后输出栏里那个accuracy只是开始。99.5%的正确率能不能说明系统可用取决于你用什么测试集、用什么指标。4.1 用混淆矩阵和分类报告看攻击类召回率在入侵检测场景中漏报攻击比误报正常更危险。准确率会被多数类别带跑如果测试集里99%是正常流量模型把所有样本都判为正常准确率也有99%但这个系统形同虚设。所以必须看混淆矩阵。from sklearn.metrics import classification_report, confusion_matrix y_pred_proba model.predict(X_test_cnn, verbose0) y_pred (y_pred_proba 0.5).astype(int) print(confusion_matrix(y_test_bin, y_pred)) print(classification_report( y_test_bin, y_pred, target_names[normal, attack] ))confusion_matrix输出的四个数字分别对应TN、FP、FN、TP。当attack的recall小于0.9时说明攻击样本被大量漏掉。classification_report里的f1-score是precision和recall的调和平均在样本不平衡时比accuracy更可信。指标关注点入侵检测里的意义accuracy受多数类影响只反映整体正确率precision误报率把正常判成攻击的比例recall漏报率攻击样本被抓住的比例F1两者平衡类别不平衡时比accuracy稳AUC排序能力阈值无关的检测能力4.2 99.5%通常来自同分布随机划分换到KDDTest会怎么样NSL-KDD的KDDTest里包含训练集没有的攻击变种这是刻意的跨分布测试。课程设计源码里如果只用train_test_split(random_state42)随机划分那么验证集和训练集同分布CNN在二分类任务上冲到99.5%并不反常。真正上线时新攻击的特征分布会漂移准确率会掉到80%以下。所以拿到源码后先看训练脚本怎么划分数据。常见做法是from sklearn.model_selection import train_test_split X_train_split, X_val, y_train_split, y_val train_test_split( X_train_cnn, y_train_bin, test_size0.2, random_state42, stratifyy_train_bin )stratify参数让训练集和验证集保持相同的正负样本比例random_state固定后结果可复现。这里只对训练集内部拆分KDDTest保留给最终评估。4.3 用AUC和训练曲线判断模型是学到了规律还是背了答案ROC曲线的横坐标是假正率纵坐标是真正率。AUC越接近1说明模型在低误报下也能保持高检测率这比单一准确率有说服力。from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt fpr, tpr, _ roc_curve(y_test_bin, y_pred_proba) print(AUC:, auc(fpr, tpr)) plt.plot(fpr, tpr) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.title(ROC Curve) plt.show()再看训练曲线。如果训练准确率持续上涨验证准确率先涨后跌说明模型过拟合。EarlyStopping已经用restore_best_weights回到了最低val_loss对应的权重所以history里最后一步不一定等于模型最终性能。为了真正复现源码作者报告的99.5%训练前需要固定随机种子import numpy as np import tensorflow as tf np.random.seed(42) tf.random.set_seed(42)这段代码要写在数据预处理之前模型初始化的随机性也会被固定。否则同一份代码每次跑出来的准确率都会有零点几个百分点的波动。5. 把CNN入侵检测模型部署为detect()函数的最低成本做法训练不是终点。网络入侵检测系统要能用必须把模型、标准化器和编码器一起保存下来部署时加载同一个版本然后对外提供detect()接口。5.1 保存模型和预处理对象避免推理时特征顺序错位模型用model.save保存scaler和label encoder用joblib保存。model.save(nids_cnn.keras) import joblib joblib.dump(scaler, scaler.joblib) joblib.dump(encoders, encoders.joblib)推理侧先把预处理封装成单一入口。这里最容易被坑的是离散特征的未知值线上来了一条连接service是训练集没见过的要手动映射到-1。from tensorflow.keras.models import load_model model load_model(nids_cnn.keras) scaler joblib.load(scaler.joblib) encoders joblib.load(encoders.joblib) def preprocess_single(series, scaler, encoders): s series.copy() for col, le in encoders.items(): val s[col] if val in le.classes_: s[col] le.transform([val])[0] else: s[col] -1 s s.astype(float32) cont_cols [i for i in range(len(s)) if i not in encoders] s[cont_cols] scaler.transform( s[cont_cols].values.reshape(1, -1)).flatten() return s.values.reshape(1, -1, 1) def detect(series): x preprocess_single(series, scaler, encoders) prob model.predict(x, verbose0)[0][0] return { attack_probability: float(prob), prediction: attack if prob 0.5 else normal }series的索引顺序要和训练时一致。一个笨但有效的办法是保存特征顺序的json加载后校验一遍。如果特征顺序错了CNN卷积核看到的邻居特征全变结果不会报错但会静默变差。5.2 上线前绕不开的三个验证技巧第一拿KDDTest第一行做冒烟测试确认detect的输出和训练脚本的预测一致。第二真实流量到来时把连接记录聚合成特征的过程要和离线特征完全一致尤其是时间窗口长度、字节数统计方式。第三如果追求吞吐量不要把单条样本一次次送进model.predict而是攒到32条或64条做批量推理这个改动通常能带来数倍的速率提升。如果你在报告里看到“正确率可达99.5%”记得先看它有没有配套的AUC、F1和具体的测试集划分再决定信不信。一个能说明攻击类recall、正常类precision和AUC的模型报告比一个孤零零的99.5%有用得多。本文还有配套的精品资源点击获取