最適化関数

Q

未解決

Deep Learningの最適化関数選定に関して

• 2017.09.24
• 10
• PV
• 0
• Fav

K

Edition: 1

Momentum最適化関数

SGDではランダムにデータを選んでパラメータ更新を行ったことで値がばたつきなかなか収束しない.慣性項を加えたことで、パラメータ更新に勢いをつけ学習を早くした.

• 2017.09.13
• 89
• PV
• 0
• Fav

K

Edition: 1

RMSProp最適化関数

ニューラルネットワークの学習係数を自動で調整する最適化関数の一つ. Adagradで問題だった学習が進むにつれて学習係数が小さくなるのを回避. (その点ではAdadeltaと目的は同じ)

• 2017.09.13
• 123
• PV
• 0
• Fav

K

Edition: 1

SGD最適化関数

学習の更新を行うときに適当に一つ選択した訓練データを用いて誤差を計算していく確率的勾配降下法(Stochastic Gradient Descent).

• 2017.09.13
• 69
• PV
• 0
• Fav

K

Edition: 1

Adagrad最適化関数

学習係数を自動調整していく最適化関数の一つ. 過去の勾配と最新の勾配を元に各パラメータごとに学習率を調整するのが特徴. Adam, Adadelta, RMSPropはAdagradを改良したもの

• 2017.09.13
• 207
• PV
• 0
• Fav

K

Edition: 1

Adadelta最適化関数

学習係数を自動で調整する最適化関数. Adagradで学習が進むにつれて学習係数が0になってしまう点を改良した最適化関数. 単位を揃えることで学習係数の初期値を不要にしている.

• 2017.09.13
• 109
• PV
• 0
• Fav

K

Edition: 1

Adam最適化関数

学習係数を自動で調整させる最適化関数の一つ. Adagrad, RMSPropを改良し移動平均を付け加えた最適化関数.

• 2017.09.13
• 261
• PV
• 0
• Fav

K

Edition: 1

DeepLearningにおける最適化関数

最適化関数はニューラルネットワークにおいて学習率を学習しながら調整してくれます。 DeepLearningにおける最適化関数選びは大きな検討要素の一つです。 どれを選ぶかによっても大きく学習時間や結果に関わってきます。

• 2017.09.13
• 179
• PV
• 0
• Fav

K

Edition: 1

Adam最適化関数

学習係数を自動で調整させる最適化関数の一つ. Adagrad, RMSPropを改良し移動平均を付け加えた最適化関数.

• 2017.09.13
• 261
• PV
• 0
• Fav

K

Edition: 1

Adagrad最適化関数

学習係数を自動調整していく最適化関数の一つ. 過去の勾配と最新の勾配を元に各パラメータごとに学習率を調整するのが特徴. Adam, Adadelta, RMSPropはAdagradを改良したもの

• 2017.09.13
• 207
• PV
• 0
• Fav

K

Edition: 1

DeepLearningにおける最適化関数

最適化関数はニューラルネットワークにおいて学習率を学習しながら調整してくれます。 DeepLearningにおける最適化関数選びは大きな検討要素の一つです。 どれを選ぶかによっても大きく学習時間や結果に関わってきます。

• 2017.09.13
• 179
• PV
• 0
• Fav

K

Edition: 1

RMSProp最適化関数

ニューラルネットワークの学習係数を自動で調整する最適化関数の一つ. Adagradで問題だった学習が進むにつれて学習係数が小さくなるのを回避. (その点ではAdadeltaと目的は同じ)

• 2017.09.13
• 123
• PV
• 0
• Fav

K

Edition: 1

Adadelta最適化関数

学習係数を自動で調整する最適化関数. Adagradで学習が進むにつれて学習係数が0になってしまう点を改良した最適化関数. 単位を揃えることで学習係数の初期値を不要にしている.

• 2017.09.13
• 109
• PV
• 0
• Fav

K

Edition: 1

Momentum最適化関数

SGDではランダムにデータを選んでパラメータ更新を行ったことで値がばたつきなかなか収束しない.慣性項を加えたことで、パラメータ更新に勢いをつけ学習を早くした.

• 2017.09.13
• 89
• PV
• 0
• Fav

K

Edition: 1

SGD最適化関数

学習の更新を行うときに適当に一つ選択した訓練データを用いて誤差を計算していく確率的勾配降下法(Stochastic Gradient Descent).

• 2017.09.13
• 69
• PV
• 0
• Fav

Q

未解決

Deep Learningの最適化関数選定に関して

• 2017.09.24
• 10
• PV
• 0
• Fav