首页/新闻资讯/正文详情

PyTorch损失函数详解:从基础到高级应用

发布时间:2026/11/16 16:56:49 来源:云帆数科 栏目:资讯中心
PyTorch损失函数详解:从基础到高级应用
1. PyTorch损失函数基础概念解析在深度学习模型训练过程中损失函数Loss Function扮演着至关重要的角色。简单来说损失函数就是衡量模型预测结果与真实值之间差异的数学表达式。PyTorch作为当前最流行的深度学习框架之一提供了丰富多样的损失函数实现覆盖了从分类、回归到特定任务的各类需求。提示损失函数的选择直接影响模型训练效果需要根据具体任务类型和数据特性进行合理选择。PyTorch中的损失函数主要位于torch.nn模块下使用时通常需要遵循以下基本流程在模型定义阶段实例化损失函数对象在前向传播后计算预测值与真实值的损失调用backward()方法进行反向传播使用优化器更新模型参数以最常见的分类任务为例一个典型的训练循环中损失函数的使用代码如下import torch import torch.nn as nn # 实例化损失函数 criterion nn.CrossEntropyLoss() # 假设我们有一个简单的模型 model SimpleModel() optimizer torch.optim.SGD(model.parameters(), lr0.01) # 训练循环 for epoch in range(num_epochs): # 前向传播 outputs model(inputs) # 计算损失 loss criterion(outputs, labels) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step()2. PyTorch内置损失函数详解PyTorch提供了多种内置损失函数适用于不同的机器学习任务。下面我们分类介绍几种最常用的损失函数及其适用场景。2.1 分类任务损失函数2.1.1 CrossEntropyLoss交叉熵损失交叉熵损失是分类任务中最常用的损失函数特别适用于多分类问题。PyTorch中的实现实际上结合了LogSoftmax和NLLLoss两个操作loss nn.CrossEntropyLoss() input torch.randn(3, 5, requires_gradTrue) target torch.empty(3, dtypetorch.long).random_(5) output loss(input, target) output.backward()关键参数说明weight (Tensor, optional): 给每个类别分配的权重用于处理类别不平衡问题ignore_index (int, optional): 指定一个被忽略的类别索引该类别不会参与损失计算reduction (str, optional): 指定如何聚合多个样本的损失可选mean(默认)、sum或none2.1.2 BCELoss与BCEWithLogitsLoss二分类交叉熵损失(BCELoss)适用于二分类问题而BCEWithLogitsLoss在BCELoss基础上增加了Sigmoid激活数值稳定性更好# BCELoss需要先对输入进行Sigmoid处理 m nn.Sigmoid() loss nn.BCELoss() input torch.randn(3, requires_gradTrue) target torch.empty(3).random_(2) output loss(m(input), target) # BCEWithLogitsLoss则不需要 loss nn.BCEWithLogitsLoss() output loss(input, target)2.2 回归任务损失函数2.2.1 MSELoss均方误差损失MSELoss计算预测值和目标值之间的均方误差适用于回归问题loss nn.MSELoss() input torch.randn(3, 5, requires_gradTrue) target torch.randn(3, 5) output loss(input, target)2.2.2 L1Loss平均绝对误差损失L1Loss计算预测值和目标值之间的平均绝对误差对异常值比MSE更鲁棒loss nn.L1Loss() input torch.randn(3, 5, requires_gradTrue) target torch.randn(3, 5) output loss(input, target)2.3 其他特殊损失函数2.3.1 HuberLossHuberLoss是MSE和L1Loss的结合在误差较小时使用平方项误差较大时使用线性项loss nn.HuberLoss() input torch.randn(3, 5, requires_gradTrue) target torch.randn(3, 5) output loss(input, target)2.3.2 KLDivLossKL散度KLDivLoss计算两个概率分布之间的KL散度常用于生成模型loss nn.KLDivLoss(reductionbatchmean) input torch.randn(3, 5, requires_gradTrue) target torch.randn(3, 5) output loss(input, target)3. 损失函数的高级用法与技巧3.1 自定义损失函数虽然PyTorch提供了丰富的内置损失函数但有时我们需要根据特定任务自定义损失函数。自定义损失函数本质上就是一个继承自nn.Module的类class CustomLoss(nn.Module): def __init__(self, weightNone, size_averageTrue): super(CustomLoss, self).__init__() def forward(self, inputs, targets): # 计算损失值 loss (inputs - targets).abs().mean() return loss3.2 多任务学习的损失组合在多任务学习中我们通常需要组合多个损失函数# 定义多个损失函数 classification_loss nn.CrossEntropyLoss() regression_loss nn.MSELoss() # 计算各任务损失 loss1 classification_loss(output1, target1) loss2 regression_loss(output2, target2) # 加权组合 total_loss 0.7 * loss1 0.3 * loss23.3 类别不平衡问题的处理对于类别不平衡的数据集可以通过以下方式调整损失函数使用weight参数为不同类别分配不同权重使用Focal Loss自动降低易分类样本的权重采用采样策略平衡各类别样本数量Focal Loss的实现示例class FocalLoss(nn.Module): def __init__(self, alpha1, gamma2, reductionmean): super(FocalLoss, self).__init__() self.alpha alpha self.gamma gamma self.reduction reduction def forward(self, inputs, targets): BCE_loss F.binary_cross_entropy_with_logits(inputs, targets, reductionnone) pt torch.exp(-BCE_loss) F_loss self.alpha * (1-pt)**self.gamma * BCE_loss if self.reduction mean: return torch.mean(F_loss) elif self.reduction sum: return torch.sum(F_loss) else: return F_loss4. 损失函数在实际项目中的应用案例4.1 图像分类任务中的损失函数选择在图像分类任务中CrossEntropyLoss是最常用的选择。但在实际应用中我们还需要考虑以下因素类别不平衡问题可以使用带权重的CrossEntropyLoss或Focal Loss多标签分类需要使用BCEWithLogitsLoss细粒度分类可以考虑使用Triplet Loss等度量学习损失以CIFAR-10分类为例的典型实现import torchvision import torchvision.transforms as transforms # 数据加载 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) trainset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) trainloader torch.utils.data.DataLoader(trainset, batch_size32, shuffleTrue, num_workers2) # 模型和损失函数 model SimpleCNN() criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr0.001) # 训练循环 for epoch in range(10): running_loss 0.0 for i, data in enumerate(trainloader, 0): inputs, labels data optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() print(fEpoch {epoch1}, Loss: {running_loss/len(trainloader)})4.2 目标检测任务中的损失函数组合目标检测任务通常需要同时处理分类和定位问题因此需要组合多种损失函数。以YOLO系列为例其损失函数通常包含分类损失通常使用BCEWithLogitsLoss定位损失通常使用CIoU Loss或GIoU Loss置信度损失通常使用BCEWithLogitsLoss一个简化的实现可能如下def yolo_loss(predictions, targets): # 分离预测结果 pred_boxes predictions[..., :4] pred_conf predictions[..., 4:5] pred_cls predictions[..., 5:] # 分离真实标签 target_boxes targets[..., :4] target_conf targets[..., 4:5] target_cls targets[..., 5:] # 计算各项损失 box_loss ciou_loss(pred_boxes, target_boxes) conf_loss F.binary_cross_entropy_with_logits(pred_conf, target_conf) cls_loss F.binary_cross_entropy_with_logits(pred_cls, target_cls) # 加权组合 total_loss box_loss conf_loss cls_loss return total_loss4.3 自然语言处理中的损失函数应用在NLP任务中损失函数的选择也因任务而异文本分类CrossEntropyLoss序列标注CRF损失或带掩码的CrossEntropyLoss机器翻译带标签平滑的CrossEntropyLoss语言模型Perplexity或CrossEntropyLoss以文本分类为例的PyTorch实现class TextClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, num_classes): super(TextClassifier, self).__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.fc nn.Linear(embed_dim, num_classes) def forward(self, x): embedded self.embedding(x) pooled torch.mean(embedded, dim1) return self.fc(pooled) model TextClassifier(vocab_size10000, embed_dim300, num_classes5) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters()) # 假设我们有一个dataloader for batch in dataloader: texts, labels batch outputs model(texts) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step()在实际项目中我发现合理选择和调整损失函数往往能带来模型性能的显著提升。特别是在处理不平衡数据集时简单的加权交叉熵可能比复杂的模型结构调整更有效。另外在训练过程中监控各项损失分量的变化趋势可以帮助我们更好地理解模型的学习过程和存在的问题。

相关推荐

OpenAI Decisions API:150毫秒决策节点如何重塑Agent架构
OpenAI Decisions API:150毫秒决策节点如何重塑Agent架构

1. 从"聊天框"到"决策节点":为什么150毫秒是个分水岭大多数人第一次接触大模型API,脑子里浮现的画面是聊天窗口——你发一句话,它回一段话,中间等个一两秒甚至更久,大家觉得很正常。但如果你做过A… · 2026/11/16 15:45:18

9B模型为何在本地AI助手场景击败万亿参数大模型
9B模型为何在本地AI助手场景击败万亿参数大模型

1. 为什么9B参数模型能在本地“击败”万亿级模型?很多人看到标题第一反应是:这不可能。万亿参数模型动辄消耗几十张A100,推理一次要几秒甚至十几秒,而一台MacBook Pro或中端台式机跑个9B模型,显存占用不到8GB&#xff… · 2026/11/16 14:51:04

AI Agent工程落地:七要素与七个决策点,从Demo到生产
AI Agent工程落地:七要素与七个决策点,从Demo到生产

AI Agent 这个词在过去一年里被反复提起,但真正动手搭过的人都知道,从"能跑通一个 Demo"到"能稳定扛住真实业务流量",中间隔着一整套工程决策。我前后用 LangGraph、Spring AI、扣子这几套东西搭过几个不同量级的 Agent … · 2026/11/16 13:40:06

低压电工证是考哪些?电子证书怎么查?别再错过复审时间
低压电工证是考哪些?电子证书怎么查?别再错过复审时间

低压电工证是考哪些?电子证书怎么查?别再错过复审时间 证书过期了不知道怎么复审延期,这事儿我见过太多人栽在上面。别以为只是补个手续,一旦超期,后果轻则不能上岗,重则直接被清退。尤其是低压电工证这种高频次使用的特种作业证, 电子证书… · 2026/11/16 16:56:02

电工证2024最新复审延期怎么操作 官方报名入口在哪找
电工证2024最新复审延期怎么操作 官方报名入口在哪找

电工证2024最新复审延期怎么操作 官方报名入口在哪找 证书过期了不知道怎么复审延期,你不是一个人在战斗。2024年电工证复审延期流程比往年更规范,但对很多基层从业者来说,依然存在信息不对称的问题。别急,这篇文章直接告诉你怎么在… · 2026/11/16 16:56:02

天长市低压电工证培训多久拿证 实操考试心里没底怕挂科怎么破
天长市低压电工证培训多久拿证 实操考试心里没底怕挂科怎么破

天长市低压电工证培训多久拿证 实操考试心里没底怕挂科怎么破 实操考试心里没底怕挂科,你不是一个人。很多人在备考低压电工证时,最大的担心不是理论题不会,而是实操考试怎么都能搞砸。特别是像你这种刚毕业的商丘应届工程类毕业生,第一次接触特种作业考… · 2026/11/16 16:56:02

工地太忙根本没时间复习考试?初级电工证试题及答案+电子证书全攻略来了
工地太忙根本没时间复习考试?初级电工证试题及答案+电子证书全攻略来了

工地太忙根本没时间复习考试?初级电工证试题及答案+电子证书全攻略来了 工地太忙根本没时间复习考试,这是很多一线电工的普遍烦恼。特别是对于新乡转岗的从业者来说,既要适应新的工作节奏,又要面对初级电工证考试的压力,简直让人头大。别急,今天我就来… · 2026/11/16 16:56:02

需要电工证的技能赛项全流程办理指南
需要电工证的技能赛项全流程办理指南

电工证技能赛项全流程办理指南:怕考不过白交培训费?值不值得考? 怕考不过白交培训费?你不是一个人。很多想考电工证的朋友,尤其是济源公路工程从业者,最担心的就是花了几千块培训费,结果考试不过,白白浪费时间和金钱。其实,只要掌握正确的流程和备考… · 2026/11/16 16:56:02

佛山电工证年检电话千万别踩坑,外省证怎么转过来
佛山电工证年检电话千万别踩坑,外省证怎么转过来

佛山电工证年检电话千万别踩坑,外省证怎么转过来 之前考的证在外省能不能转过来?这几乎是所有打算在佛山从事电工相关工作的朋友最关心的问题, 千万别踩坑… · 2026/11/16 16:55:01

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

电工证培训的通知在哪考?别再被中介骗了
电工证培训的通知在哪考?别再被中介骗了

电工证培训的通知在哪考?别再被中介骗了 你是不是还在为 电工证培训的通知在哪考 发愁?网上搜了一堆信息,结果要么是挂羊头卖狗肉的培训机构,要么就是打着“包过”旗号的骗子?别急,今天我来给你讲讲, 电工证培训的通知… · 2026/11/16 0:00:34

高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟
高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟

高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟 你是不是也这样,站在高压电工实操考试的设备前,手心冒汗,生怕一个操作失误就被判不合格?实操考试心里没底怕挂科,这是很多准备考高级电工证的人的真实写照。别担心,今天… · 2026/11/16 0:00:34

电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享
电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享

电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享 怕考不过白交培训费?你不是一个人,信阳的李师傅去年刚转岗做电工,就因为没搞清楚电工证去哪个部门考核,差点交了8000块的培训费。别急,下面这份实操考试全攻略,告诉你电工证到底值不值得考… · 2026/11/16 0:00:34

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码