DeepLearningの歴史

１度目のニューラルネットワークでは、 1960年に単純パーセプトロンが作られ、線形分離可能(直線や平面を決めたらデータを二種類に分類できる)な学習器として研究が進む 以下がキーワード ・単純パーセプトロン ・活性化関数 ・線形分離可能

１度目のニューラルネットワークでは非線形分離ができなかったため、適用できる範囲が限られてその後あまり注目されることはなかった。 例) XORのような{1,0} {0,1}で0, {1,1}{0,0}で1のような出力をするニューラルネットワークは学習できなかった

2度目のニューラルネットワークでは、 1980年に単純パーセプトロンを複数重ねた多層パーセプトロンが作られ、非線形分離可能なデータでも使える学習器となって再度ブームがきた. 3層ほどまで行われることが多かった. 以下がキーワード ・多層パーセプトロン ・バックプロパゲーション(誤差逆伝播法)

・当時の計算機の性能の問題やデータの少なさ ・層を深くすると学習が進まなくなる部分があり汎化性能(特定のデータでなくどのデータでも性能がでること)が得られない などが問題になり、次第に勢いがなくなっていった。

近年の3度目のニューラルネットワークのブームでは、 深い層を作れるようになりDeepLearning(深層学習)と呼ばれる技術が注目されるようになった。今回のブームで画像認識、音声認識において高い精度が得られるようになった。 上記の課題だった ・学習が進まない ・学習に時間がとてもかかる(計算機の性能の問題) を解決したことや画像に適した処理方法(Convolution)などが成果としてあがったことなどが今回のブームの原因となっている. 以下がキーワード ・DeepLearning(深層学習) ・RELU ・DropOut ・Convolutional Neural Network ・AutoEncoder ・GAN