- @ThothChildren
- 2017.9.13
- PV 147
層を深くする
ー 概要 ー
経験的に層を深くすることができれば必ず性能は上がるとされていました。近年は幅も大事という論文もでており、幅と深さのどちらがよいかは決着がついていないようです。
この章を学ぶ前に必要な知識
効果
- 層を深くすることで、学習性能を向上
ポイント
- 近年のネットワークは次第に長くなってきている
- DeepLearningのブーム前はせいぜい3~4層
- 現在は150以上の層の深さを持つものも存在する
解 説
DeepLearningではできるだけ層は深い方がよいとされています。
しかし、DeepLearningがブームになる少し前までは、学習の都合上長くしても学習が進まなくなるといったことが多々あり、簡単には層を深くすることができませんでした。(だいたい3層)
どころが、幾らかの工夫によって層が長くできることがわかると、次々に層は長くなっていき、近年有名になったものではマイクロソフトのResNetが152層を実現しています。
| 層の深さ導入 |
ResNetはマイクロソフトが152層を実現し、2015年時点でImageNetと言われるデータを使った識別で過去最高の識別率を出したとされるネットワークです。ショートカットをネットワークに加えるというコツで152層を実現しており、論文によれば最大1201層まで層を深くし精度をあげられたそうです。 | ResNetとは |
この章を学んで新たに学べる
Comments
Reasons
知識: ResNetとは
ResNetは2015年にMicrosoftより発表された152層からなるニューラルネットワーク.
今まで20層ほどで作られていたCNNを特別なユニットを挟むことで深くすることを可能にした.