One Hot ベクトル

One Hot ベクトル(One Hot Vector , One-of-K表記法)は、ベクトルの全要素のうち一つだけ1で他は0になっているベクトルをさす. 多クラス分類で正解データをクラスで表現するときに、 犬は(1, 0, 0)、猫は(0, 1, 0)、猿は(0, 0, 1)で表現する.この表現方法をOne Hot ベクトルまたはOne-of-K表記法と呼ぶ. クラスの数とベクトル要素の数が一致する. 他に自然言語処理で単語のベクトルを扱う場面があるが、その際にも単語の数とベクトル要素数を一致させて、apple:(1, 0, 0.....0), banana:(0, 1, 0...0)のように表現して扱う.

多クラスを表現するのに他の方法として、クラスラベルの値を用いる方法が考えられる. 犬:1, 猫:2, 猿:3のように割り当てることでそれぞれのクラスの値を一つの値で表現するということ. しかし、この形は用いられない. 機械学習などにおいて内部の計算を行い最後のクラスラベルの値を出力するモデルがあるとする. 内部では色々な処理の計算をするが、例えばクラスの平均を計算するような処理があったとして、犬ラベルと猿ラベルの可能性が高く、その二つの平均(犬ラベルの値1 + 猿ラベルの値3) /2 = 2を計算すると、猫のラベルになってしまうようなことが起きてしまう. また、似たような別の例を出すと、例えば出力が計算の結果2.2のような小数の値になったときには、どのように値を解釈すべきかわからない.偶然猫を2として、猿を3として割り当てたがこの順番の割り当てには何も意味がなく、従って2.2は猿よりも猫に近いとも言えるわけではない. 仮にトラ:4としていたら、猿よりももっとトラに近い値になっているべきだが、他にも猫に似たクラスがあるとクラスラベルの連続的な整数値ではそれを表現できない. そのためやはりOne-Hotベクトルのように各クラスが独立になっている表現を使えば、上記のようなケースでも扱えるようになるのである.