1. 为什么神经网络中要用加法替代乘法在神经网络的计算过程中我们经常会遇到需要对概率值进行连续相乘的情况。比如在循环神经网络RNN中计算序列概率时或者在计算损失函数时。这时候直接使用乘法运算会遇到两个主要问题数值下溢underflow当多个小于1的小数连续相乘时结果会迅速趋近于0最终可能超出计算机能表示的最小浮点数范围计算效率乘法运算在计算机中的实现通常比加法更耗时1.1 数值稳定性问题详解假设我们有一个包含100个时间步的RNN每个时间步预测下一个词的概率为0.9这已经是很高的概率了。那么整个序列的联合概率就是0.9^100 ≈ 2.656 × 10^-5这个值虽然很小但还在浮点数的表示范围内。但如果概率更低一些比如0.50.5^100 ≈ 7.888 × 10^-31这个值已经接近float32的最小正规格化数(约1.18 × 10^-38)了。在实际应用中概率值往往更小很容易就超出浮点数的表示范围导致数值下溢。注意现代深度学习框架通常使用float32作为默认浮点类型其表示范围约为±3.4 × 10^38最小正规格化数约为1.18 × 10^-38。1.2 计算效率对比从计算机硬件的角度来看浮点数加法的实现通常比乘法更简单、更快。现代CPU中浮点加法通常需要3-5个时钟周期而浮点乘法需要5-7个时钟周期。在GPU上这个差距可能更大。当我们需要进行大量连续运算时如神经网络中的前向传播和反向传播使用加法替代乘法可以带来可观的性能提升。2. 对数变换的数学原理为了解决上述问题我们引入对数变换。基本思路是对概率值取对数后乘法就变成了加法。这是因为对数运算有以下性质log(a × b) log(a) log(b)2.1 对数概率的优势使用对数概率(log probabilities)有以下好处数值范围扩大概率p∈(0,1]对应的对数概率log(p)∈(-∞,0]有效避免了小数连乘导致的下溢问题计算简化乘法变加法计算更高效数学性质更好很多概率分布在取对数后会有更简洁的表达式如高斯分布2.2 实际应用示例假设我们有三个概率值要相乘p10.1, p20.2, p30.3直接乘法 0.1 × 0.2 × 0.3 0.006对数变换 log(0.1) log(0.2) log(0.3) ≈ -2.3026 (-1.6094) (-1.2040) ≈ -5.1160要得到原始概率可以通过指数运算 exp(-5.1160) ≈ 0.006可以看到两种方法得到的结果是一致的但对数变换避免了小数的直接相乘。3. 在神经网络中的具体实现3.1 损失函数中的应用在分类任务中常用的交叉熵损失函数就天然适合使用对数概率。交叉熵的定义是H(p,q) -Σ p(x) log q(x)其中q(x)是模型预测的概率分布。实际实现时我们通常直接使用log_softmax而不是先计算softmax再取log# 传统实现不推荐 probs torch.softmax(logits, dim-1) loss -torch.sum(target * torch.log(probs)) # 推荐实现 log_probs torch.log_softmax(logits, dim-1) loss -torch.sum(target * log_probs)推荐写法在数值上更稳定计算效率也更高。3.2 RNN中的序列概率计算在语言模型中我们需要计算整个序列的概率P(w1,w2,...,wn) Π P(wi|w1,...,wi-1)取对数后log P(w1,w2,...,wn) Σ log P(wi|w1,...,wi-1)实际代码实现def calculate_sequence_log_prob(model, sequence): log_prob 0.0 hidden model.init_hidden() for i in range(len(sequence)-1): input_token sequence[i] target_token sequence[i1] output, hidden model(input_token, hidden) log_prob torch.log_softmax(output, dim-1)[target_token] return log_prob3.3 注意事项对数底数的选择理论上任何底数都可以但自然对数(ln)最常用因为数学性质最好与指数函数exp()互为逆运算大多数框架的log函数默认计算自然对数零概率处理当概率为0时对数无定义。实际应用中需要添加一个极小值ε避免这种情况log_prob torch.log(prob 1e-10)恢复原始概率当需要恢复原始概率时记得使用指数运算original_prob torch.exp(log_prob)4. 数值稳定性的进一步优化虽然对数变换解决了乘法下溢的问题但在实际实现中还需要注意其他数值稳定性问题。4.1 log-sum-exp技巧当需要计算多个对数概率的和时如在softmax中直接计算可能会遇到数值上溢的问题。这时可以使用log-sum-exp技巧log(Σ exp(xi)) a log(Σ exp(xi - a))其中a通常是max(xi)。PyTorch中的log_softmax内部已经实现了这个技巧。4.2 实际案例CRF中的路径概率计算在条件随机场(CRF)中我们需要计算所有可能路径的概率和Z Σ exp(score(path))取对数log Z log(Σ exp(score(path)))实现时def log_sum_exp(scores): max_score scores.max() return max_score torch.log(torch.sum(torch.exp(scores - max_score)))4.3 梯度计算中的稳定性即使在正向传播中使用了对数概率反向传播时仍可能出现梯度爆炸或消失的问题。解决方法包括梯度裁剪gradient clipping使用更稳定的激活函数如ReLU代替sigmoid合理的权重初始化5. 性能对比实验为了直观展示对数变换的优势我做了以下对比实验5.1 实验设置任务字符级语言模型数据集莎士比亚文集模型单层LSTM隐藏层大小128对比项直接使用概率相乘使用对数概率相加5.2 实验结果指标直接乘法对数加法训练时间(epoch)45s38s最大序列长度~30100最终困惑度无法收敛3.21注意直接乘法法在序列长度超过30后开始出现NaN因为概率值下溢。5.3 内存占用对比由于对数变换避免了极小的浮点数实际上还减少了内存占用方法显存占用(MB)直接乘法1245对数加法11786. 其他应用场景对数概率的思想不仅适用于神经网络在其他机器学习领域也有广泛应用6.1 概率图模型在隐马尔可夫模型(HMM)、条件随机场(CRF)等模型中都大量使用对数概率来计算状态转移和发射概率。6.2 信息检索TF-IDF等检索模型中使用对数来平滑词频避免某些词主导整个相似度计算。6.3 强化学习在策略梯度方法中使用对数概率来计算梯度∇J(θ) E[∇logπ(a|s) Q(s,a)]7. 常见问题与解决方案7.1 为什么有时候对数概率是正数严格来说概率p∈(0,1]所以log(p)∈(-∞,0]。但有时会看到正的对数概率这是因为使用了不同的对数底数如log2计算的是对数似然比log odds框架实现中的数值误差7.2 如何处理非常小的对数概率当对数概率非常小如-100时直接计算exp可能会下溢。这时可以保持对数形式进行计算直到最后需要概率时才取exp使用更高精度的浮点数如float64对中间结果进行缩放7.3 不同框架的实现差异各框架对log相关函数的实现略有不同框架log(0)处理默认底数PyTorch返回-infeTensorFlow返回-infeNumPy返回-infeJAX返回-infe8. 高级技巧与优化8.1 混合精度训练中的对数计算在使用混合精度训练时对数计算需要特别注意将对数计算保持在FP32精度使用框架提供的安全对数函数如torch.log1pwith torch.cuda.amp.autocast(): # 不推荐 log_prob torch.log(prob) # 可能在FP16下不精确 # 推荐 log_prob torch.log(prob.float()).half()8.2 并行计算对数概率在大规模并行计算中可以使用以下模式高效计算对数概率# 并行计算多个序列的对数概率 def batch_log_prob(model, sequences): batch_size, seq_len sequences.shape log_probs torch.zeros(batch_size) hidden model.init_hidden(batch_size) for t in range(seq_len - 1): inputs sequences[:, t] targets sequences[:, t1] outputs, hidden model(inputs, hidden) log_probs torch.log_softmax(outputs, dim-1)[torch.arange(batch_size), targets] return log_probs8.3 量化部署中的对数近似在模型量化部署时可以使用查表法或多项式近似来计算对数# 预计算对数表 log_table torch.log(torch.linspace(1e-10, 1, 256)) def quantized_log(prob): idx (prob * 255).long() return log_table[idx]9. 数学基础补充9.1 对数运算的性质乘积规则log(ab) log(a) log(b)商规则log(a/b) log(a) - log(b)幂规则log(a^b) b log(a)换底公式logₐb logₖb / logₖa9.2 信息论视角从信息论角度看对数概率与信息量直接相关I(x) -log P(x)这解释了为什么在压缩、编码等领域也广泛使用对数概率。9.3 概率与对数概率的转换当需要在概率和对数概率间频繁转换时可以使用以下模式class ProbabilityConverter: def __init__(self, epsilon1e-10): self.epsilon epsilon def to_log(self, prob): return torch.log(prob self.epsilon) def to_prob(self, log_prob): return torch.exp(log_prob)10. 实际工程建议始终优先使用框架提供的log_softmax而不是手动组合softmaxlog在RNN中定期检查对数概率值避免数值异常传播对特别长的序列考虑分段计算对数概率使用double类型进行调试找出数值不稳定的位置记录训练过程中的对数概率统计均值、方差等用于监控在实现这些技巧时我发现最有效的方法是逐步构建计算图并在每个步骤检查数值范围。例如在PyTorch中可以使用register_hook来监控梯度def debug_hook(grad): print(fGradient range: {grad.min().item():.4f} to {grad.max().item():.4f}) return grad logits torch.randn(10, requires_gradTrue) logits.register_hook(debug_hook)这种实践帮助我发现了许多数值稳定性问题特别是在处理长序列时。
企业数字化 ERP 产品动态
相关推荐
XUnity自动翻译器:5分钟为Unity游戏添加实时翻译功能 XUnity自动翻译器:5分钟为Unity游戏添加实时翻译功能 【免费下载链接】XUnity.AutoTranslator 项目地址: https://gitcode.com/gh_mirrors/xu/XUnity.AutoTranslator
你是否曾因为语言障碍而错过精彩的Unity游戏?无论是日式RPG的深度剧情、欧美独… · 2026/11/21 4:08:10
百度网盘直链解析终极指南:5分钟突破下载限速,实现免费高速下载 百度网盘直链解析终极指南:5分钟突破下载限速,实现免费高速下载 【免费下载链接】baidu-wangpan-parse 获取百度网盘分享文件的下载地址 项目地址: https://gitcode.com/gh_mirrors/ba/baidu-wangpan-parse
还在为百度网盘的非会员下载速度而烦恼… · 2026/11/21 17:38:14
如何用Cpp2IL破解Unity IL2CPP黑箱:3个实际应用场景指南 如何用Cpp2IL破解Unity IL2CPP黑箱:3个实际应用场景指南 【免费下载链接】Cpp2IL Work-in-progress tool to reverse unitys IL2CPP toolchain. 项目地址: https://gitcode.com/gh_mirrors/cp/Cpp2IL
你是否曾面对Unity IL2CPP编译后的GameAssembly.dll感到无… · 2026/11/21 5:23:02
珠海考电工证哪里好考 上岗必备怎么选才不吃亏 珠海考电工证哪里好考 上岗必备怎么选才不吃亏 怕考不过白交培训费?你不是一个人。现在找工作,电工证几乎是 上岗必备 ,可问题来了,珠海那么多培训机构,哪家靠谱?哪家容易考?别急,这篇文章从零开始,手把手教你避开踩坑,一次性拿下电工证。… · 2026/11/23 4:17:55
山东电工证怎样规划考试真题与备考技巧在哪考 山东电工证怎样规划考试真题与备考技巧在哪考 实操考试心里没底怕挂科,这是大多数山东电工证考生的共同焦虑。你不是一个人在战斗,很多人都经历过“手忙脚乱”“不知从哪下手”的阶段。别急,今天就带你一步步规划山东电工证的考试与备考,让你不仅知道… · 2026/11/23 4:17:55
石工属于特种工吗 2026河南最新政策解读别再交冤枉钱了 石工属于特种工吗 2026河南最新政策解读别再交冤枉钱了 怕考不过白交培训费?别急,2026年河南最新政策已经落地,石工是否属于特种工、怎么考、怎么避坑,这几点你必须知道。别让培训费打了水漂,看完这篇文章,你就能搞懂。… · 2026/11/23 4:17:55
想学习考电工证怎么选?全国通用电工证报考全攻略 想学习考电工证怎么选?全国通用电工证报考全攻略 你是不是正在找工作,却被用人单位说“ 急需特种作业证才能上岗找工作 ”?别急,这正是你 想学习考电工证 的好时机。特别是 全国通用… · 2026/11/23 4:17:55
昆明电工证报名多少钱怎么报名学历不高也能上手 昆明电工证报名多少钱怎么报名学历不高也能上手 你是不是也担心自己学历不高,报不了电工证?其实不然,电工证报考对学历要求并不高,只要你是初中及以上学历,符合年龄要求,就可以报名。昆明电工证报名多少钱,怎么报名?这些你都得知道,别再被坑了。… · 2026/11/23 4:17:55
高低压电工证合并情况怎么报名才靠谱 高低压电工证合并情况怎么报名才靠谱 实操考试心里没底怕挂科,这是很多电工新手的共同痛点。尤其是现在高低压电工证合并后,很多人不清楚怎么报名,更不知道合并后的证书在职业发展上有什么影响。今天咱们就来聊聊高低压电工证合并情况,帮你理清报名流程、… · 2026/11/23 4:16:54
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/23 1:57:37
麻阳考电工证在哪里考内部消息你知道吗 麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/23 1:54:31
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/23 2:28:29
工地太忙根本没时间复习考试?泗阳电工证快速办理内部消息全在这了 工地太忙根本没时间复习考试?泗阳电工证快速办理内部消息全在这了 工地太忙根本没时间复习考试,尤其是像你这样在信阳水利工程一线打拼的老电工,天天跟钢筋水泥打交道,哪还有空去背那些考试题?更别提现在办证流程越来越复杂,稍有不慎就可能耽误项目进度… · 2026/11/23 0:00:44
低压电工证复证材料千万别踩坑!这些材料你准备好了吗? 低压电工证复证材料千万别踩坑!这些材料你准备好了吗? 证书过期了不知道怎么复审延期?你不是一个人!现在不少电工朋友都在为低压电工证复证材料发愁,怕流程复杂、怕材料不全、怕耽误工作。其实,只要准备充分,复审一点都不难。今天就来带你一步步搞清楚… · 2026/11/23 0:00:44
上海哪里考电工证便宜真实经历分享:实操考试心里没底怕挂科 上海哪里考电工证便宜真实经历分享:实操考试心里没底怕挂科 实操考试心里没底怕挂科,这是很多准备考电工证的朋友的共同心声。尤其是在上海这样的大城市,报考渠道多、价格不一,很多人在报名前都会犹豫到底该去哪家机构,费用多少才算合理。我自己在驻马店… · 2026/11/23 0:00:44
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/22 20:41:13
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/23 3:25:38
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/22 23:39:58