首页/新闻资讯/正文详情

PyTorch 权重初始化的三种写法

发布时间:2026/11/5 18:10:12 来源:云帆数科 栏目:资讯中心
PyTorch 权重初始化的三种写法
问题现象搭建完网络直接开始训练,经常出现一些让人摸不着头脑的现象:损失从第一步就是nan,或者若干个轮次后突然发散;训练初期损失几乎不动,几十轮之后才开始缓慢下降;深层网络的前几层梯度小到接近零,后几层却大得离谱;换了激活函数之后,原本能收敛的模型开始不收敛;手工改完权重后模型依然照旧,检查发现改的地方根本没生效。这些问题往往不在网络结构本身,而在第一步:权重是怎么被放进网络的。原因分析第一,初始值决定了信号在网络中的传播尺度。前向传播时每一层都会对上一层的输出做一次线性变换,若每层都把信号的方差放大一点,十几层之后数值就会爆炸成无穷大;反之每层缩小一点,信号会迅速衰减到零。梯度在反向传播时遵循同样的规律。所谓专门为某类激活函数设计的初始化方法,本质上是按该激活函数的特性反推出一个「方差既不放大也不缩小」的取值区间。第二,默认初始化并不匹配所有激活函数。框架自带的默认取值主要面向一类常用的对称激活函数,换成不带负半轴的激活函数时,方差的传递规律发生了变化,沿用默认值就会让信号逐层衰减,表现为前期几乎不学习。所以激活函数一换,初始化策略就要跟着换。第三,偏置与权重的处理逻辑不同。偏置不参与方差的传递,通常置零或给一个很小的常数即可;把它和权重用同一种随机方式初始化,反而可能引入不必要的扰动。第四,

相关推荐

自动化控制系统开发流程图:评审与验收回路如何决定项目成败
自动化控制系统开发流程图:评审与验收回路如何决定项目成败

简介:这份资源是面向工业自动化从业者与项目管理人员的一份控制系统开发流程图文档,以流程图形式梳理从项目立项、需求评审、签订合同、制定设计计划、任务分工,到需求调研、系统设计、评审反馈、程序编写与测试,直至验收交付与维… · 2026/11/5 2:46:02

ANFIS-MPC融合算法在自动驾驶轨迹跟踪中的应用
ANFIS-MPC融合算法在自动驾驶轨迹跟踪中的应用

1. 项目背景与核心挑战自动驾驶车辆的轨迹跟踪控制一直是行业内的关键技术难题。在2021年IEEE ICNSC会议上提出的这项研究,针对传统MPC控制在动态环境中适应性不足的问题,创新性地将自适应模糊神经网络(ANFIS)与模型预测控制(MPC)相结合。我在实际自动驾… · 2026/11/6 1:29:02

自动化控制系统开发流程图:从立项到验收的闭环设计与避坑指南
自动化控制系统开发流程图:从立项到验收的闭环设计与避坑指南

简介:这份资源是面向工业自动化从业者与项目管理人员的一份控制系统开发流程参考文档,以流程图形式梳理从项目立项、需求评审、签订合同、设计计划制定到系统设计、程序编写测试、交付验收及后期维护升级的完整链路,帮助读者在真实项目中建立… · 2026/11/5 20:25:29

Coze 数据分析工作流:把抖音与小红书运营数据整理成周报
Coze 数据分析工作流:把抖音与小红书运营数据整理成周报

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/6 1:28:23

[tip] ssh远程连接主机免密码登录
[tip] ssh远程连接主机免密码登录

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/6 1:28:23

针对代码中 FFT 部分(`computeFFT` 函数 + `on_DoFFTButton_clicked()`)的全面优化建议和改进实现
针对代码中 FFT 部分(`computeFFT` 函数 + `on_DoFFTButton_clicked()`)的全面优化建议和改进实现

以下是针对代码中 FFT 部分(computeFFT 函数 on_DoFFTButton_clicked())的全面优化建议和改进实现。 当前代码的主要问题与优化方向问题影响优化方向每次都用 FFTW_ESTIMATE fftw_plan_dft_1d速度一般,未利用 FFTW 真正优势切换到 real-to-… · 2026/11/6 1:28:23

【WebSocket】WebSocket 与消息队列(如 Kafka、RocketMQ)如何结合,构建可靠的异步实时通信系统?
【WebSocket】WebSocket 与消息队列(如 Kafka、RocketMQ)如何结合,构建可靠的异步实时通信系统?

WebSocket 与消息队列融合架构:金融行情推送系统的高可靠实时通信设计 用户问题原文:WebSocket 与消息队列(如 Kafka、RocketMQ)如何结合,构建可靠的异步实时通信系统? 在构建金融行情推送系统时,我们曾因架构设计不当导致严重生产事故:当市场开盘瞬间百万级用户同时连… · 2026/11/6 1:28:23

996引擎 - 跨服:用 WIN10 mklink 创建 Mir200-KF
996引擎 - 跨服:用 WIN10 mklink 创建 Mir200-KF

996引擎 - 跨服:用 WIN10 mklink 创建 Mir200-KF v1 v2 v3 v3 - PowerShell 版 参考资料 v1 @echo off setlocal enabledelayedexpansion:: 设置源目录和目标目录 set "SOURCE=Mir200" set "DEST=Mir200-KF"echo [1/3] 正在创建目标根目录: %DEST% if no… · 2026/11/6 1:28:23

Python 字体反爬解析:从 Unicode 映射到二手车价格与里程清洗
Python 字体反爬解析:从 Unicode 映射到二手车价格与里程清洗

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/6 1:27:21

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:27:59

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:28:03

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:28:07

三菱PLC数据采集到数据库的时序设计:Python+MC协议实战
三菱PLC数据采集到数据库的时序设计:Python+MC协议实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/6 1:02:11

ASIC主模式RTL设计:状态机与三态驱动的流片级实现
ASIC主模式RTL设计:状态机与三态驱动的流片级实现

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/6 1:02:11

STM32嵌入式C++开发:GDB调试与Renode仿真实战指南
STM32嵌入式C++开发:GDB调试与Renode仿真实战指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/6 1:02:11

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:27:59

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:28:03

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:28:07

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码