为什么有些softmax公式需要减去输入中的最大值

news/2024/11/18 7:38:45/文章来源:https://blog.csdn.net/weixin_38314865/article/details/107568686

我们都知道softmax公式如下：

但有些softmax公式是先将每个x_i减去x中的最大值再代入以上公式

原因是为了防止上溢和下溢

举个例子，x=[100000,100001,100002],如果直接代入上式数值会非常大，当对每个x的值减去x中的最大值后得到[-2,-1,0]，此时再代入上式

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/490844.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

兰德公司报告分析 “分布式作战”对美空军兵力运用的影响

来源：兰德公司网站/图片来自互联网导读7月17日，兰德公司发布《竞争环境下的分布式作战：对美国空军兵力运用的影响》的报告，研究了美空军竞争环境下“分布式作战”的能力需求，分析了如何调整美空军当前的“兵力运用模式…

$MATLAB（四）在高等数学中的应用$

MATLAB（四）在高等数学中的应用

MATLAB在高等数学中的应用 （一）求极限 matlab中求极限的命令为 limit(expr, x, a) limit(expr, a) limit(expr) limit(expr, x, a, left) limit(expr, x, a, right) 其中，limit(expr, x, a)表示求符号表达式expr关于符号变量x趋近于a时的…