確率分布間の差異で類似度を求めたい

確率分布の類似度は多くの機械学習や統計処理において必要になる数値になります.中でも確率分布の差異を表現しているKLダイバージェンスは頻繁に登場する数値です. 距離と表現できずダイバージェンスと呼んでいるのはある確率分布A,BからKLダイバージェンスを求めたのとB,Aから求めたのでは異なり、距離の定義から外れてしまうからです.(距離ならば、逆にしても同じ値になる必要あり)

先にJSダイバージェンスについて紹介しますが、JSダイバージェンスの定義はとてもシンプルです。 KLダイバージェンスが前述のように対称性がない点が実用上やっかいなときがあるため、(A,Bで算出したもの)と(B,Aで算出したもの)を足して2で割ったものを算出することで、JS(A,B) == JS(B,A)となるように工夫しています.

KLダイバージェンスは二つの確率分布の類似度を計算することができる値. どれだけ差があるかが最終的な出力になります. P=Qになると分布は完全に一致し値は0になります.

KLダイバージェンスは負になることはありません.