Sigmoid函数的优缺点是啥？

问题引入

在人工神经网络中，神经元节点的激活函数定义了对神经元输出的映射，简单来说，神经元的输出（例如，全连接网络中就是输入向量与权重向量的内积再加上偏置项）经过激活函数处理后再作为输出。我们也知道在神经网络中有许多的激活函数，那么每个激活函数的优缺点是什么呢？接下来慢慢说起来。

问题解答

这里介绍下大家熟悉的sigmoid函数，sigmoid函数的表达式如下：

下图展示了sigmoid函数以及它的导数。

 Sigmoid函数是深度学习领域开始时使用频率最高的activation function。它是便于求导的平滑函数，其导数为

优点：

1.便于求导的平滑函数；

2.能压缩数据，保证数据幅度不会有问题；

3.适合用于前向传播。

缺点：

1.容易出现梯度消失（gradient vanishing）

2.Sigmoid 的输出不是 0 均值（zero-centered）

3.幂运算相对耗时

参考

https://blog.csdn.net/Dby_freedom/article/details/88946229

https://zhuanlan.zhihu.com/p/65472471 

https://baijiahao.baidu.com/s?id=1653421414340022957&wfr=spider&for=pc

喜欢就关注一下啦~~~