Adam最適化関数

Adagrad, RMSPropを改良して、勾配の指数移動平均を用いる. 今まで移動平均でバイアスがかかった状態で計算していたが、バイアスを 除去するようにして解消.

$$m_t = \beta_1 m_{t-1} + (1 - \beta_1)\nabla{J(w_t)}$$ $$v_t = \beta_2 v_{t-1} + (1 - \beta_2)\nabla{J(w_t)}^2$$

$$\widehat{m_t}=\frac{m_t}{1-\beta_1^t}$$ $$\widehat{v_t}=\frac{v_t}{1-\beta_2^t}$$

$$w_t = w_{t-1} - \frac{\eta}{\sqrt{\widehat{v_t}}+\epsilon}\widehat{m_t}$$

適応的な学習係数のアルゴリズムの中では、理論的な裏付けはないが経験則として適応的なものの中ではAdamがよいとされている. ただし、実際の他論文の実装ではMomentumやSGDを使っている例は多い. SGD等は収束に時間がかかるが極小値を適切に見つけやすい等が理由としてあげられる.