CTC損失関数

CTC Loss(損失関数) (Connectionist Temporal Classification)は、音声認識や時系列データにおいてよく用いられる損失関数で、最終層で出力される値から正解のデータ列になりうる確率を元に計算する損失関数. LSTMやRNNなどの出力を受けて正解文字列の確率を計算する.LSTM等から渡されている入力は、音声データを時間単位で区切って認識している音素や文字列になっている. 確率の計算には、HMMのように前向き後ろ向きアルゴリズム(動的計画法の一種)を元に計算、微分可能であり誤差逆伝播が可能.

CTC損失関数は以下の関数で与えられる.\(x\)は最終的なラベル文字列等.("abc"や"おはよう"など) $$Loss_{ctc} = -log(p(x))$$ 上記誤差関数を最小化することは、すなわち\(p(x)\)の最大化にあたる.

CTC損失関数がわかっても計算する方法や実現手段が全く定かではない. 以下では音声または画像から文字列を認識する場合を想定して解説する. LSTMの出力 まずLSTMの出力がどのような形式になっているかについて. LSTMを出たときには、(多くの場合)時間ごとの文字の確率が得られる. 以下の画像のようにLSTM各ユニットから左から時間順序に沿って各時間での文字列の確率が与えられる. また文字の他に特殊なブランク文字 _ が使用されている.これについてはあとで解説する.

学習時には正解文字列が常にわかっているので、例えば"abc"とする. LSTMの出力からどのように正解文字列にするかというと、以下のルールに則って文字列を作る. ・同じ文字が連続した場合には、一つの文字にする. ・最後のブランク文字を全て削除する. の二つのルール. このルールに沿うと以下のように変換される. ex) _a_b__c_→abc, _aaaabc_→abc, b_o_oook→book, ___c_c_cccc_→ccc ここで今回の文字列は"abc"だったとすると、LSTMのユニット数が8だったとすると, _a_b__c_, _a_b_c___,aa_b_ccc_,abc_____も全てabcに変換される. このような形にすることで例えば音声データの中で文字が伸びて発音されてしまった場合にも文字列を繰り返すことで表現して、正解文字列では消してしまえばいいだけになる.

次に文字列の確率の計算を行う. $$Loss = - log(p(x))$$ 前述のように上記の確率\(p(x)\)をLSTMの出力を使って計算しなくてはならない. さきほどの出力文字列からの正解文字列"abc"の求め方からわかるように\(p("abc")\)はLSTMの出力を使って以下のように計算される. $$ p("abc") = p("abcccccc") + p("abbbbbbc") + p("aaaaaabc") \\ + p("\_abbccc\_\_\_") + \cdots + + p("\_a\_b\_ccc\_\_\_")+p("\_\_\_\_\_\_abc") $$ この全ての組み合わせの確率を足し合わせたものが、求めたかった\(p("abc")\)となる. 一つ一つの確率(例えば\(p("abc\_\_\_\_\_")\))の計算は容易. LSTMの出力では"abc____"の確率が全て計算されているのでそれらを全て掛け合わせるだけ. 例えば $$p("abc\_\_\_\_\_") = p_0("a")\cdot p_1("b")\cdot p_2("c")\cdot p_3("\_")\\ \cdot p_4("\_")\cdot p_5("\_")\cdot p_6("\_")\cdot p_7("\_")$$ ここで\(p_t()\)は時間ごと/ピクセルごとの確率変数. あとは、こうして一つ一つ求めた確率を全パターンで足し合わせれば確率が求まる. しかし、愚直に全ての計算を行うのは非効率であるため、確率は隠れマルコフモデル(HMM)でも使用される前向き後ろ向きアルゴリズム(動的計画法)によって計算される.

CTC損失関数は微分可能な関数のため、 通常通り誤差逆伝播計算を行うことが可能です. 長くなるため紹介しませんが、リンクを参照ください.

上記のようCTC損失関数を用いてネットワークを学習したあと、 識別時にはもちろんCTC損失関数は使用しないが、簡単に触れておく. 本来は、得られたLSTMの出力から最も確率p(x)が高くなるような文字列を前向き後ろ向きアルゴリズムから全て算出して推定すべきであるかもしれないが現実的ではない. そこでBest Path Decodingが行われる. 近似解として、最もシンプルに各時間の確率最大の文字列を抽出してそれを正解文字列に変換する. 十分に学習されたネットワークにおいてはこのような近似でも十分に計算することが可能. さきほどの画像に示した例の場合は、"_abb_c__"が出力となる.(それぞれの時間の最大値) これは、"abc"に変換される.