猫狗识别算法源码解析：从CNN训练到迁移学习实战指南

简介这是一份面向计算机相关专业学生与机器学习初学者的猫狗识别算法项目源码适合用来完成课程设计、期末大作业或毕业设计中的图像分类任务。项目基于机器学习方法实现猫狗二分类代码经过调试可直接运行读者可在现有基础上调整数据集、网络结构或参数展开进一步实验。压缩包共12个文件体积约359KB包含2个Python源码文件、若干jpg/png图片样本与说明文档其中Python代码负责模型训练与预测流程图片用于测试和结果展示便于边看边跑并快速定位关键模块。当前已有329人学习下载适合具备一定Python基础、希望快速上手图像识别项目的学习者。资源内还附带README说明和训练过程截图可帮助理解项目整体结构与运行逻辑节省环境配置和代码排查时间。1. “猫狗识别”源码包入门视觉方向成本最低的对照实现拿到一个名为“基于机器学习的猫狗识别算法源码.zip”的压缩包解压后通常是两类东西一批猫狗图片和一套训练脚本。这个项目在计算机视觉领域的地位类似编程界的Hello World它解决的核心问题是“给任意一张图片让机器返回猫还是狗”。技术上它属于二分类图像识别能让新手一次走完数据读取、模型搭建、训练、保存、推理的完整链路。适合两类人刚学完机器学习基础、想第一次接触图像数据的初学者以及已经跑过不少模型、想快速验证本地深度学习工具链是否可用的工程师。别小看它很多生产环境的图像审核、质检分拣最早都是从这类二分类项目长出来的。2. 先搞清楚这个算法包在学什么数据、网络与训练逻辑2.1 同样的jpg怎么让机器读出“猫”和“狗”标签与数据组织机器不认文件名里的文字它只认数值。图片存进内存是一个宽×高×通道数的矩阵每个像素点是一个0到255的整数。要让算法学会“区分猫和狗”必须先把“哪个样本属于猫、哪个属于狗”这一信息通过文件的组织方式或标签文件传给训练代码。这个源码包最常见的数据组织方式有两种。一种是像Kaggle这类比赛的旧版命名图片直接命名成cat.0.jpg、dog.0.jpg标签藏在文件名里。另一种是整理好的目录结构train文件夹下分cat和dog两个子目录里面各放一堆图片。第一种方式看起来省事但训练代码要额外写字符串解析稍不注意就把标签弄反了。我通常建议先把数据整理成目录结构这相当于给数据上了保险。下面这段脚本负责把带前缀的文件名转换成标准目录import os import shutil import random source_dir rawdata # 原始图片目录比如 cat.1.jpg、dog.2.jpg base_dir data train_dir os.path.join(base_dir, train) val_dir os.path.join(base_dir, validation) # 按类别建目录 os.makedirs(os.path.join(train_dir, cats), exist_okTrue) os.makedirs(os.path.join(train_dir, dogs), exist_okTrue) os.makedirs(os.path.join(val_dir, cats), exist_okTrue) os.makedirs(os.path.join(val_dir, dogs), exist_okTrue) for fname in os.listdir(source_dir): if fname.startswith(cat): cls cats elif fname.startswith(dog): cls dogs else: continue # 前1000张分给验证集其余留作训练 fpath os.path.join(source_dir, fname) if int(fname.split(.)[1]) 1000: dst os.path.join(val_dir, cls, fname) else: dst os.path.join(train_dir, cls, fname) shutil.copy(fpath, dst)这个脚本里值得注意的一个点我用文件名里的序号做切分而不是随机切分保证同一只猫的连续帧不会同时落到训练集和验证集里避免数据泄漏导致准确率虚高。如果数据集本身没有连续帧这种问题直接用random.choice分配也可以。整理好的目录结构是为了配合后面训练代码里的flow_from_directory方法。这个方法要求的就是train/cats、train/dogs这种层级它会把子目录名自动当作文本标签省掉了手工维护标签数组的麻烦。2.2 识别的主干网络卷积层、池化层和输出层的分工这个源码包里模型部分最常见的形态是一个小型卷积神经网络CNN。它的基本组成是卷积层负责提取局部特征池化层负责降低分辨率并保留主要信息全连接层负责把特征映射成“是猫还是狗”的得分。为什么选CNN而不选普通的全连接网络直接原因和图片尺寸有关。一张128×128的彩色图片flatten成向量是49152个数值如果第一层就用全连接参数量会立刻爆炸训练速度慢还容易过拟合。卷积层则用一个小窗口通常3×3扫过整张图同一组参数在窗口内共享参数量立刻压到几百个。这就是“卷积神经网络天生适合图像”的原因。源码包里模型部分的核心代码长这样from tensorflow.keras import layers, models model models.Sequential([ # 第一层卷积提取低级特征比如边缘、色块 layers.Conv2D(32, (3, 3), activationrelu, input_shape(128, 128, 3)), layers.MaxPooling2D((2, 2)), # 第二层卷积从边缘组合出稍抽象的纹理特征 layers.Conv2D(64, (3, 3), activationrelu), layers.MaxPooling2D((2, 2)), # 第三层卷积进一步压缩保留有判别力的特征 layers.Conv2D(128, (3, 3), activationrelu), layers.MaxPooling2D((2, 2)), # 把三维特征压成一维接全连接层 layers.Flatten(), layers.Dense(64, activationrelu), layers.Dropout(0.5), # 二分类任务输出一个概率值 layers.Dense(1, activationsigmoid) ])理解这个网络有几个关键参数。Conv2D第一个参数是卷积核数量32起步、逐层翻倍到128是因为前层提取的是通用边缘特征后层需要更多组合空间来提取猫狗差异特征。池化层每次把宽高减半128×128经过三次池化变成16×16复用特征的同时大幅降低计算量。Dropout(0.5)是在训练时随机丢弃一半神经元防止网络死记训练集。最后一层只有一个神经元加sigmoid专为二分类设计。你可能会问为什么不用两个神经元加softmax两种写法效果等价但单神经元加sigmoid在训练时只需要一个输出配合binary_crossentropy损失函数梯度信号更直接网络收敛更快。源码包里如果看到Dense(2, activationsoftmax)也不是错只是另一种等价的工程选择。2.3 像素值为什么要除以255rescale与数据增强在做什么拿到源码包第一眼看到ImageDataGenerator(rescale1./255)这种写法常常被当成固定套路。它干的其实是把像素从0到255的整数映射到0到1之间的小数。这一步为什么不能省机器学习训练时最怕特征量纲不一致如果输入范围是0到255激活函数对输入变化会非常敏感梯度容易在反向传播时爆炸或消失。除以255后每个像素的值均匀落在一个较窄区间优化器在参数空间里移动的步长才有意义。更重要的是数据增强。猫狗识别这种任务训练集里的图片可能只有几万张但实际使用中照片可能旋转过、翻转过来、光线明暗不同。如果模型只见过正着放的猫你把图片旋转30度再喂给它预测结果可能就不稳定了。数据增强就是让模型在训练时“看见”更多变体从根源上改善泛化能力。在源码包里常出现这样的增强参数train_datagen ImageDataGenerator( rescale1./255, rotation_range20, # 随机旋转范围正负20度 width_shift_range0.2, # 水平方向随机平移20% height_shift_range0.2, # 垂直方向随机平移20% horizontal_flipTrue, # 随机水平翻转 fill_modenearest # 平移留下的空白用邻近像素填充 )这里需要认真对待的是fill_mode。默认情况下旋转或平移后图像边缘会出现空白区域fill_modenearest会用邻近像素值填充让增强后的图片仍然“像一张真实图片”。如果把fill_mode改成zeros空白区域就会变成黑色每轮训练都可能把一批带黑边的图片喂给网络相当于引入了不存在的训练噪声。数据增强不能乱用验证集和测试集不能做任何增强。换句话说训练时让模型多看点花样但验证时要用原图、用真实图片去评估它。如果源码包里对验证集也做了旋转翻转那验证集准确率就不是真实水平这种包可以直接放弃。3. 从解压到跑通训练脚本与保存模型的最小流程3.1 补一个“数据集准备脚本”让训练代码能直接读目录拿到源码包如果解压后是散落的jpg没有整理好的目录脚本里的flow_from_directory就没法用。这时我一般先跑一个准备脚本把原始图片布置成标准结构。这里给出相对完整的版本比上一章的小脚本更通用支持从原始目录自动划分训练与验证集import os import shutil import random def prepare_dataset(src, dst, val_ratio0.2): src 原始数据目录内含 cat/ dog/ 两个子目录 dst 目标目录生成 train/ 和 validation/ for cls in [cat, dog]: cls_src os.path.join(src, cls) cls_dst_train os.path.join(dst, train, cls s) cls_dst_val os.path.join(dst, validation, cls s) os.makedirs(cls_dst_train, exist_okTrue) os.makedirs(cls_dst_val, exist_okTrue) images os.listdir(cls_src) random.shuffle(images) val_count int(len(images) * val_ratio) for i, img in enumerate(images): src_path os.path.join(cls_src, img) if i val_count: dst_path os.path.join(cls_dst_val, img) else: dst_path os.path.join(cls_dst_train, img) shutil.copy(src_path, dst_path) prepare_dataset(rawdata, dataset, val_ratio0.2)这个脚本的关键在于shuffle。洗牌后再按比例切分保证验证集和训练集是随机分布而不是某个拍摄批次集中在某一侧。val_ratio取0.2是常见做法训练数据充足时验证集太大浪费训练样本太小则评估结果波动大。对几万张图片的数据集来说20%的验证集够用了。这个脚本执行完毕后dataset目录下会有train/cats、train/dogs、validation/cats、validation/dogs四个文件夹。接下来训练脚本就可以直接使用这些目录。3.2 训练主流程从目录读到model.fit一条命令走完训练脚本是源码包里最核心的部分。它做的事情按顺序是创建数据生成器、读取目录图片、定义模型、编译、训练、保存。下面这份脚本直接可以存成train.py使用import tensorflow as tf from tensorflow.keras.preprocessing.image import ImageDataGenerator from tensorflow.keras import layers, models # ---- 数据生成器 ---- train_datagen ImageDataGenerator( rescale1./255, rotation_range20, width_shift_range0.2, height_shift_range0.2, horizontal_flipTrue ) val_datagen ImageDataGenerator(rescale1./255) BATCH_SIZE 32 IMG_SIZE (128, 128) train_generator train_datagen.flow_from_directory( dataset/train, target_sizeIMG_SIZE, batch_sizeBATCH_SIZE, class_modebinary, # 二分类标签返回0/1 shuffleTrue ) val_generator val_datagen.flow_from_directory( dataset/validation, target_sizeIMG_SIZE, batch_sizeBATCH_SIZE, class_modebinary, shuffleFalse ) # ---- 构建模型 ---- model models.Sequential([ layers.Conv2D(32, (3, 3), activationrelu, input_shape(128, 128, 3)), layers.MaxPooling2D((2, 2)), layers.Conv2D(64, (3, 3), activationrelu), layers.MaxPooling2D((2, 2)), layers.Conv2D(128, (3, 3), activationrelu), layers.MaxPooling2D((2, 2)), layers.Flatten(), layers.Dense(64, activationrelu), layers.Dropout(0.5), layers.Dense(1, activationsigmoid) ]) # ---- 编译 ---- model.compile( optimizeradam, lossbinary_crossentropy, metrics[accuracy] ) # ---- 训练 ---- steps_per_epoch train_generator.samples // BATCH_SIZE validation_steps val_generator.samples // BATCH_SIZE history model.fit( train_generator, steps_per_epochsteps_per_epoch, epochs20, validation_dataval_generator, validation_stepsvalidation_steps ) model.save(cat_dog_binary.h5)先看flow_from_directory的class_modebinary这个参数直接决定标签的形状。binary会让标签变成0或1的单个数值配合模型最后一层的Dense(1)两者必须严格对应。如果你改成class_modecategorical模型最后一层就要改成Dense(2, activationsoftmax)标签变成独热编码二者混着用是新手最容易犯的错。steps_per_epoch和validation_steps为什么手动算因为如果不传这两个参数TensorFlow会自动按“样本数除以batch_size”推导但有的版本在数据量除不尽时会出现最后一个batch不足的情况程序直接报错。手动用整除算一次保证每个epoch和每个验证周期都消费完整的batch。这里有个小提示确认一下类名的排序。flow_from_directory读取目录时对classes排序是按字母来的。cats和dogs两个目录中cats排在前面对应标签0dogs排在后面对应标签1。也就是说输出的概率值越接近0是猫越接近1是狗。之后做预测时可以直接用这个约定不用再看乱七八糟的映射表。提示如果代码运行在Windows上路径分隔符请统一用正斜杠或者os.path.join避免盘符路径拼接错误。3.3 保存与加载h5文件和SavedModel应该选哪种源码包里模型保存部分通常写的是model.save(cat_dog_binary.h5)这是TensorFlow的HDF5格式。这个格式的优势是一个单文件几MB到几百MB拷贝方便加载也直接。生产环境里我一般更推荐SavedModel格式它是目录形式包含模型结构和权重版本信息部署到TensorFlow Serving时更规范。如果要让源码包适合后续二次开发保存时建议这么处理# 保存为keras原生格式兼容性最好 model.save(cat_dog_model.keras) # 或者导出为SavedModel适合后续部署 model.export(saved_model_dir)加载继续训练或者推理加载代码也很固定from tensorflow.keras.models import load_model # 加载h5 model load_model(cat_dog_binary.h5) # 加载.keras格式 model2 load_model(cat_dog_model.keras)这里需要额外提醒加载模型时不需要重新编译模型文件里已经存了优化器状态和损失函数配置。如果你在加载后又调用compile等于把之前训练好的优化器状态清空重来。源码包里如果出现load_model之后又compile的代码多半是作者为了让代码脚本化而写的但对复现结果没有帮助可以删掉。保存模型还有个肉眼可见的坑训练结束直接save模型文件里包含了最后一次epoch结束时的权重。如果训练后期已经过拟合验证集准确率最高的时刻可能出现在第10个epoch而不是第20个epoch。更稳妥的做法是在fit里配置ModelCheckpoint回调自动保存验证集指标最好的那次权重from tensorflow.keras.callbacks import ModelCheckpoint ckpt ModelCheckpoint( best_model.h5, monitorval_accuracy, save_best_onlyTrue, modemax ) history model.fit( train_generator, steps_per_epochsteps_per_epoch, epochs20, validation_dataval_generator, validation_stepsvalidation_steps, callbacks[ckpt] # 训练结束时会额外留下best_model.h5 )加上这个回调后不管最后一个epoch表现如何best_model.h5始终是验证集上最理想的那个存档。这个习惯救过我很多次强烈建议第一次跑就把回调加上算是给自己留一颗后悔药。4. 复现这套源码时最容易踩的五个坑这些坑都来自真实调试经历按“现象、原因、解决”的方式写清楚。遇到问题别急着怀疑算法本身先按这几条排查多半是数据或配置层面的问题。4.1 训练集准确率接近100%验证集却一直上不去现象训练loss一路下降train_accuracy能到90%以上但validation_accuracy在70%附近反复横跳。原因这是典型的过拟合。网络容量太大、训练数据太少或缺少正则化手段。三层卷积加全连接层对几万张图其实有足够强的拟合能力它开始死记训练集中的猫狗特征而不是归纳出普适规律。解决优先增加Dropout比例先从0.5调低到0.3看看验证集变化然后加强数据增强的强度比如rotation_range从20加到40最后才是减少网络层数或神经元数量。如果这三个都做了还不行直接上迁移学习替换整个主干这是第5章要展开的内容。4.2 预测结果永远偏向某一个类别现象训练曲线正常但预测阶段所有图片全被判成dog或全是cat概率值不是接近0就是接近1。原因绝大多数时候这是flow_from_directory的classes映射顺序没弄清楚。cats的标签是0dogs的标签是1如果你把语义反着理解看代码觉得“对了”实际上全错了。另一种少见的情况是验证集图片本身就只有一类数据划分时出了问题。解决训练脚本打印一行命令确认映射print(train_generator.class_indices) # 期望输出 {cats: 0, dogs: 1}如果输出顺序与预期相反把目录名改掉或者手动给generator传classes参数保证0对应猫、1对应狗。预测脚本里也写一句注释标明这个约定防止过两个月再打开代码时重新踩一遍。4.3 loss出现nan训练直接中断现象训练跑了一两个epochloss变成nan程序报错退出。原因最常见的两种。一是学习率太大adam默认学习率0.001在小型CNN上通常是安全的但如果你手动改到0.01梯度更新幅度过大直接冲爆参数二是没有做rescale像素值停留在0到255反向传播算出来的梯度值会非常大极易溢出。解决先把rescale1./255加上再把optimizer恢复成默认参数。如果还出nan检查图片数据集里是否有损坏或者全黑的异常图import cv2 # 扫描异常图片 for root, dirs, files in os.walk(dataset): for f in files: path os.path.join(root, f) img cv2.imread(path) if img is None: print(f损坏图片: {path})cv2.imread读不到内容时会返回None而不是抛异常这种静默错误最容易藏到训练中后期才炸出来。4.4 训练进度条长时间不动或者每个epoch特别慢现象程序正常跑但进度条卡在某个batch很久GPU利用率也上不去CPU倒是跑满。原因数据读取瓶颈。ImageDataGenerator是按batch实时从硬盘读图并做增强的如果你的图片放在机械硬盘上单张读取延迟会被无限放大。CPU在等待磁盘IOGPU在等待CPU喂数据整个管线都在摸鱼。解决数据量不大时先把所有图片一次性读进内存再做批量训练数据量大时给生成器加上预读取和并行处理的参数。TensorFlow 2.x中可以在fit前面加这两个配置import tensorflow as tf # 自动并行管道预取1个batch 开4个线程并行读图 train_dataset tf.data.Dataset.from_generator( lambda: train_generator, output_signature( tf.TensorSpec(shape(None, 128, 128, 3), dtypetf.float32), tf.TensorSpec(shape(None,), dtypetf.float32) ) ).prefetch(1) model.fit( train_dataset, steps_per_epochsteps_per_epoch, epochs20 )如果你用的还是老代码最简单的办法是把图片统一缩到小尺寸比如96×96再调低batch_size到16减少单次读图量。图片内存占用是和宽高成平方关系缩放的这个优化立竿见影。4.5 import环节直接被Keras版本报错卡死现象复现源码包时第一行import tensorflow就报错或者from tensorflow.keras导入某个API时提示找不到。原因源码包写得早用的API版本和你本地的TensorFlow版本不匹配。TensorFlow 2.x早期版本里很多工具函数在后续版本被移动或改名比如tf.keras.preprocessing.image.ImageDataGenerator在TensorFlow 2.16之后逐步边缘化而新装的Keras 3已经不在老位置。解决先锁定环境最稳妥的做法是创建一个独立环境并安装与源码包适配的版本conda create -n catdog python3.10 conda activate catdog pip install tensorflow2.15.0老版本的TensorFlow API对ImageDataGenerator支持最完整避开了Keras 3带来的兼容断裂。如果坚持用新版则需要把ImageDataGenerator替换成tf.keras.utils.image_dataset_from_directory但代码逻辑和参数都需要改不少不值得为跑通一个入门项目折腾。5. 让它从“能跑”升级到“能用”两个实际技巧5.1 迁移学习把准确率从80%提到95%以上自己从头训练的小型CNN在128×128分辨率下准确率通常在80%到88%之间这个水平距离实际可用还有差距。成熟的做法是把前面几层卷积替换成在大规模数据集上预训练好的骨干网络比如MobileNetV2。它已经学会了识别边缘、纹理、形状等通用特征你只需要在它上面接一个分类头然后微调少量参数。用MobileNetV2改造后的模型代码非常精简import tensorflow as tf from tensorflow.keras import layers base_model tf.keras.applications.MobileNetV2( input_shape(128, 128, 3), include_topFalse, # 不要预训练模型自带的分类头 weightsimagenet # 加载在ImageNet上预训练的权重 ) base_model.trainable False # 冻结骨干网络只训练分类头 model tf.keras.Sequential([ base_model, layers.GlobalAveragePooling2D(), layers.Dense(1, activationsigmoid) ]) model.compile( optimizeradam, lossbinary_crossentropy, metrics[accuracy] )第一次训练时我习惯先把整个骨干网络冻结只训练最后新增的Dense层。因为预训练权重已经很成熟如果一开始就让整个网络跟着更新学习率稍微一大就会把预训练学到的特征破坏掉。等分类头收敛后再决定要不要解冻部分深层用很小的学习率比如1e-5去做整体微调。迁移学习能出效果的前提是预训练权重要能正确加载。首次执行时它会下载约14MB的权重文件网络不通的地方麻烦一些。如果下载不了后续训练就进行不了这一点在部署到内网环境前就要先确认。5.2 单图推理脚本与结果解释不要只看概率数字训练结束后最终交付给使用者的是一个预测脚本。常见做法是接收图片路径返回“猫”或“狗”的结论同时把概率值打印出来import numpy as np from tensorflow.keras.models import load_model from tensorflow.keras.preprocessing.image import load_img, img_to_array model load_model(best_model.h5) def predict_image(image_path): # 与训练时保持一致缩放、归一化 img load_img(image_path, target_size(128, 128)) arr img_to_array(img) / 255.0 arr np.expand_dims(arr, axis0) prob model.predict(arr, verbose0)[0][0] # class_indices约定cats0dogs1 if prob 0.5: label dog confidence prob else: label cat confidence 1 - prob print(f预测结果: {label}, 置信度: {confidence:.2%}) return label, confidence if __name__ __main__: predict_image(test_photo.jpg)这段脚本里最容易忽略的是target_size必须与训练时一致。训练用的128×128推理时却忘记指定图片会被load_img默认加载成原尺寸喂进模型后维度不对直接报错。另一个关键点是load_img默认以RGB模式读取如果测试图片是RGBA的PNG展开后是4通道同样会报维度错误这种情况需要在load_img时显式指定color_modergb。看到预测概率输出时我有个习惯先看一组明确的猫图、狗图确认概率的语义方向再拿真实业务图片去测。有一次训练代码打印说“95%是狗”实际测试图片是只猫后来一查是class_indices映射反了权重文件本身没问题纯粹是解释层写反了。这类问题不是模型性能差而是输出约定没校准训练时打印epoch里的val_accuracy再结合抽查几张图片能提前发现。迁移学习和推理脚本都跑通后这个“猫狗识别算法源码包”才算真正消化完。我自己每次拿到新的图像项目都会先回到这个项目上跑一遍工具链确认环境没有暗坑再换了数据集去复用整套代码。这个习惯帮我避开了很多“环境没问题但训练总翻车”的玄学问题希望帮到你。本文还有配套的精品资源点击获取