競合学習

競合学習(Competitive Learning)とは教師なし学習で頻繁に行われる学習で、最も入力データに反応したニューロンのみ更新したりするようなニューロン同士で競わせるような学習. winner-take-allな学習となっており、最も入力に反応し勝者となったニューロンは入力データにより近くなるように更新する. 自己組織化マップは競合学習の一つ.

競合学習のネットワークは入力層と競合層がある. 以下の図のように通常のニューラルネットワークとは異なり、各ノードが重みベクトルwを持つことに注意.スカラーな一つの重みではない. そしてこの重みが特徴ベクトルを表す.

競合学習の学習過程は非常にシンプル.以下に示す. 今回は全ての重みと入力ベクトルは正規化されているものとします. 競合学習のアルゴリズム 1. 競合層の各ニューロンが持つ重みベクトル\(w\)を0~1の値で初期化する. 2. ある与えられたデータ\(x\)を入力として、全ての競合層のニューロンが持つそれぞれの\(w\)とで距離を計算します(内積やユークリッド距離など). 3. 2.で計算した値が最も反応したニューロンを勝者として、それをアクティブなニューロンとし、それ以外の全ての競合層のニューロンを非アクティブなニューロンとします. 4. 3.でアクティブなニューロンのみ、重みを更新します. 識別時 識別時は、学習したネットワークに入力を与えてどのニューロンが最も反応するかを計算します.どのクラスタかを知りたい場合は最も反応したニューロンにラベル付けすればいい.

最も反応したニューロンのみを更新する勝者総取りを行う競合学習を紹介しました. それをHard Competitive Learning(ハード競合学習)と言います. この手法には幾らか欠点があり、初期値が悪すぎると常に非アクティブなユニット(ニューロン)となってしまい何もせずにdead units(neuron)として学習を終えてしまう可能性があります.この場合はそれらはエラーを抑えるような働きをすることもすることなく学習が終わってしまいます. これは初期値のせいでもあるため、初期値を入力データからランダムに選択するようなことをすることで改善される可能性があります. また初期値に強く依存して学習のたびに結果が全く異なってしまう可能性があります. Soft Competitive Learning(ソフト競合学習)を導入してwinner-take-mostという形である程度似ているものや近いものにも更新をかけることで上記のような問題を解決することができます.