SGD最適化関数

ニューラルネットワークにおいて学習をするときに、 どのようにパラメータを更新するかを決める必要があります。 最もシンプルなパラメータの更新方法にバッチ勾配降下法があります。 これは訓練データ全てを使ってどのように更新するか決めるため、 計算に時間がかかる点が一つ欠点です。 また、全体を考慮した平均的な勾配の方へ移動していくので局所最適解に陥りやすい(一度最適だと思った値から変われない)のも欠点です。 それに対してSGDの特徴は、 ・ランダムに一つのデータを選ぶため、計算が早い ・ランダムにデータを選ぶため、例え局所解に入っても抜け出せる可能性が高くなる ・逆に値が選ぶデータによるので不安定にもなり変動が激しくなる などがあげられる.

$$w_{t+1} = w_t - \eta_t \nabla f(w_t) $$

上記の式は、現在のパラメータwtを更新する式を表しています。 現在の評価関数の最も変化する方向を求め、その値に学習係数ηを掛け合わせてどれほどパラメータを更新するかを調整しています。 SGDでは上記のパラメータは固定になっていますが、その値を決めるのは難しく 値によっては最後まで収束しない