Global Average Pooling層

近年、注目されているPooling層の一つ。 CNNなどConvolution層が含まれるネットワークにおいて用いられ、もともと全結合層だった部分をGlobal Average Pooling層に置き換えるようにして使用する。

Global Average Pooling層は以下のように、 直前のConvolution層の各チャンネル層で画素の平均を求めます。 各チャンネルでの平均が求まったらそれらをベクトルとして次の層に渡します。 CNN等で全結合層の代わりとして使うため、 直前はConvolution層、直後はSoftmax関数をつなげて最終層とする。 また、CNN等はConvolution層が多いため他のネットワークと比較してパラメータが少ないが、やはり全結合層でパラメータが多くなる。 その部分をGlobal Average Pooling層に置き換えた場合、全結合層のパラメータ減り、Global Average Pooling層にはパラメータがないので、全体としてパラメータは減ります。 そのため、過学習は起こりにくくなるが、収束が遅くなると言われている。