首页/新闻资讯/正文详情

图解-激活函数(非线性激活函数)

发布时间:2026/9/25 12:34:51 来源:云帆数科 栏目:资讯中心
图解-激活函数(非线性激活函数)
一、概念激活函数是神经网络中引入非线性特性的关键组件它决定了神经元是否被“激活”以及输出信号的强度。没有激活函数无论网络有多少层其整体效果都等同于一个线性模型无法处理图像识别、自然语言理解等复杂任务。概念总是晦涩难懂。人类对陌生新事物天然会保持警惕所以这是正常现象万不可不懂装懂。至于前期有点储备略懂一点还爱装甚至装腔作势借此打压周边同事的人就更可恨了。祈福愿各位同事都是干干净净一心搞技术的干净人。如此需要借助于熟悉的事物举例翻译这才是教育培训的意义。假设你去水果摊买苹果和橘子苹果 5 元/斤买了 3 斤 → 15 元橘子 4 元/斤买了 2 斤 → 8 元总价 15 8 23 元这就是典型的线性运算输出 权重 × 输入 偏置。现在问题来了如果老板说“满 30 减 5”“买三斤以上打九折”“两种一起买再送一个”这时候不再是简单的乘加了——规则出现了“拐点”和“跳跃”。这种带拐点的关系就是非线性。回归到神经网络上来。神经网络如果只用线性运算哪怕叠一千层最终也等价于一层线性变换。就像一个只会做“乘加”的计算器叠多少个都一样失去了多个神经元参与计算的作用只存活在理论世界解决不了错综复杂的现实问题即永远学不会“满减”这种复杂规则。而激活函数就是那个“拐点制造机”。它让网络能表达打折、门槛、饱和、突跃等现实规律结合了现实世界的复杂环境要素从而具备逼近任意复杂函数的能力。现在是不是有所悟了。综上激活函数的核心作用是打破线性叠加的局限使网络能够学习和拟合现实世界中复杂的非线性关系。它在每个神经元的加权求和结果后施加一个非线性变换从而让深层网络具备强大的表达能力。图解概念红线 (glinear)这是一条直线。如果只用这种函数无论叠多少层网络最终的效果都等于只有一层。类比把多个放大镜叠在一起它依然只是个放大镜无法变成显微镜。它只能处理简单的线性关系比如y2x1 。蓝线 (gsigmoid) 和 绿线 (ℎgtanh​)它们是弯曲的S形曲线。这种非线性让神经网络能够去拟合现实世界中复杂的、弯弯曲曲的数据分布比如识别猫的脸部轮廓、理解句子的语意。二、常见的激活函数Sigmoid 函数将输入压缩到 [0,1] 区间模拟生物神经元的“兴奋/抑制”状态常用于二分类问题的输出层。但其梯度在两端趋近于零容易导致梯度消失反向传播时误差传到这里信号直接归零。前面的层根本收不到误差信号也就无法更新权重。类比像把不同难度的考试成绩统一折算成百分制方便比较。缺点是当 z 很大或很小时曲线变得极平。此时输入再怎么变输出几乎不动——就像学生已经考 99 分了再努力也提不了分老师给不出反馈。这就是著名的梯度消失。Tanh 函数将输入压缩到 [-1,1] 区间相比 Sigmoid 以零为中心收敛速度更快但同样存在梯度消失问题。类比Sigmoid 是“从 0 分起步”Tanh 是“有正有负能表达反对和赞成”。数据在层与层之间传递时不会整体往上飘训练更稳。ReLU 函数当输入大于零时输出原值小于零时输出零。计算简单、训练速度快是目前最常用的隐藏层激活函数。但其缺点是可能导致“神经元死亡”即部分神经元永远不被激活。类比一排灯泡电压为负的直接不亮。优势正区间梯度恒为 1信号一路畅通深层网络才训得动一部分神经元被关掉形成稀疏性——相当于网络自动在做“ feature 筛选”只保留有用的通路缺点某个神经元如果长期收到负输入就会永久失活俗称“神经元死亡”从此不再参与计算。解决办法是把负区间的阀门留一条缝——即下面的 Leaky ReLU。Leaky ReLUReLU 的改进版在负区间赋予一个很小的斜率如 0.01避免神经元完全“死亡”保证梯度始终存在。类比负数不完全关死而是乘一个很小的系数如 0.01或者用平滑曲线过渡。神经元永远不会彻底“死掉”。在实际应用中ReLU 及其变体如 Leaky ReLU、ELU因其高效性和良好的性能已成为深度神经网络的首选。而 Sigmoid 和 Tanh 则更多用于特定场景如输出层的概率预测或需要平滑过渡的场合。选择合适的激活函数是构建高性能神经网络的重要一步。

相关推荐

Claude Code 从零入门完整指南:TaoToken 统一 Key 配置与 CLI 实战
Claude Code 从零入门完整指南:TaoToken 统一 Key 配置与 CLI 实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 12:34:51

OpenClaw 2026.7.2 配置 TaoToken:gateway 与 SQLite 在 WSL2 下的 settings.json 骨架
OpenClaw 2026.7.2 配置 TaoToken:gateway 与 SQLite 在 WSL2 下的 settings.json 骨架

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 12:34:19

计算机毕业设计:YOLO+LangChain+多模态大模型肺炎诊断系统,TaoToken统一Key接入配置与验证
计算机毕业设计:YOLO+LangChain+多模态大模型肺炎诊断系统,TaoToken统一Key接入配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 12:34:19

Atlas 300V部署YOLO全指南:从ONNX转OM到性能调优
Atlas 300V部署YOLO全指南:从ONNX转OM到性能调优

我最早接触 Atlas 300V,是因为一个视频分析项目里需要同时跑十几个目标检测模型,普通显卡在功耗和卡位上都卡得太死了,朋友推荐我看看华为的 Atlas 推理卡。当时对着 "atlas 300v 24g" 这个型号研究了好一阵子,又费了不… · 2026/9/25 13:57:20

Robocup仿真救援代码实战:从环境搭建到多智能体决策与调优
Robocup仿真救援代码实战:从环境搭建到多智能体决策与调优

简介:这份Robocup仿真救援代码面向参加Robocup Rescue仿真竞赛的学生、AI与机器人方向开发者,提供一套可运行的救援仿真软件工程,用于在虚拟灾害场景中实现自主决策、搜索、导航与危险评估。压缩包共43个文件,以42个Java源码及1个… · 2026/9/25 13:57:14

Atlas 300V 24G部署YOLO实战:从ONNX转OM到推理避坑指南
Atlas 300V 24G部署YOLO实战:从ONNX转OM到推理避坑指南

把“Atlas 300V 24G是不是运算加速卡”这个问题抛到搜索引擎里,出来的多半是半懂不懂的配置单和跑分帖。我当初刚拿到这张卡时也有同样的困惑:24G显存、被动散热、PCIe插上就能用,看起来确实像一张“显卡”,但等你想当然地装上CUD… · 2026/9/25 13:57:13

Agent技能体系实战:从工具混乱到高效编排的完整指南
Agent技能体系实战:从工具混乱到高效编排的完整指南

做Agent开发一段时间的朋友,大概率都遇到过同一个问题:功能越加越多,技能越堆越乱,Agent用起来反而越来越“笨”——该调用的工具不调用,不该调用的天天瞎调用,翻日志排查的时候人都要疯掉。我自己手头这个… · 2026/9/25 13:57:07

重磅!DeepSeek-V3.2-Exp 发布百万输出仅3元|附完整论文中文翻译与 TaoToken 配置骨架
重磅!DeepSeek-V3.2-Exp 发布百万输出仅3元|附完整论文中文翻译与 TaoToken 配置骨架

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 13:56:36

2026腾讯云服务器一年多少钱?30台CVM配置价格与选型指南
2026腾讯云服务器一年多少钱?30台CVM配置价格与选型指南

1. 为什么“一年多少钱”这个问题,从来都不是一句话能答完的每次有人问我“腾讯云服务器一年到底多少钱”,我都不会直接甩一个数字过去。不是我不想说,而是这个问题本身就问得不够精确——就像你问“买一辆车多少钱”,销售没法回答… · 2026/9/25 13:56:29

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码