tanh激活函数的优缺点是啥？

百面机器学习 2020-08-04

596

问题引入

常用到的除了sigmoid函数之外，还有一个即tanh函数，它的出现又是由于什么原因或者说能解决什么问题呢？

tanh的表达式如下：

如果我们写成sigmoid函数的形式，则如下所示：

看下tanh的函数和导数图像

tanh函数的优缺点：

优点：
部分解决了sigmoid关于zero-centered的输出问题。导数范围变大在（0,1）之间，而sigmoid在 (0,0.25)之间，梯度消失问题有所缓解。

缺点：
•幂运算，计算成本高 •梯度消失问题

参考

https://blog.csdn.net/EngineerHe/article/details/100126694 https://www.cnblogs.com/missidiot/p/9378079.html
https://www.jianshu.com/p/857d5859d2cc

喜欢就关注一下啦~~~

数据库

文章转载自百面机器学习，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。