Relu活性化関数

Reluは現在のDeepLearningにおいて最も使用される活性化関数の一つとなっており、 以下のような形で記述される。

\begin{eqnarray} y = \begin{cases} x & ( x \geqq 0 ) \\ 0 & ( x \lt 0 ) \end{cases} \end{eqnarray}

Reluの特徴 良い点 ・xが正のとき活性化関数の微分は常に1になるので、Reluは勾配消失が起きにくい. シグモイド関数では勾配がゼロになることが多く、勾配消失の問題が多かった ・計算が簡単で高速 問題点 ・あるとき常に同じ値をだす問題にはまってしまうことがある xが負のときに0となって変わらなくなり、あるニューロンがどの入力を受けても常に同じ値を出すことがある。これを回避するために、負のときも少し勾配をもたせたLeakyReluなどが使われることがある.