- @ThothChildren
- 2017.9.13
- PV 161
ソフトマックス活性化関数
ー 概要 ー
ソフトマックスは複数の値があるときに、それらの合計が1になり各出力が0から1の値になるように調整してくれる活性化関数.
この章を学ぶ前に必要な知識
ポイント
- 出力が常に正になる
- 出力値を全て足して1で各出力値が0より大きく1以下なので確率と見なせる
- 多クラスの分類をするネットワークの出力層で使われる.それ以外では使われない.
解 説
多クラスの分類を行うニューラルネットワークの出力層の活性化関数として使われる.
多クラス分類で使われる理由 or よく使われる理由
・出力が 0より大きく1以下
・全ての出力を足すと1.確率と同じと見なせる.
・微分した形が元の式を使って書けて便利
・ただ平均をしたものより交差エントロピーを最小化する値を出力
"{猫, 犬, 豚, 牛}"のような分類をするときに学習させる答えは,
犬が写っている画像なら[0, 1, 0, 0]として、犬100%にすればよくなります。 | ソフトマックス活性化関数概要 |
$$f(x_i)={\frac {e^{x_i}}{\sum _{k=1}^{K}e^{x_k}}}$$ | ソフトマックス活性化関数
K:クラスの数 |
この章を学んで新たに学べる
Comments