Whisper

1.Whisperの概要

2.Whipserモデルの内部構造

2.1.Transformerベース

2.1.1.前半 : Encoder

一回分のデータを処理する流れは下記のようになっています。 まずEncoder部分をみてみましょう.

1. まず音声データを30秒に区切ります.
2. 30秒のデータをメルスペクトログラムで人間の聞き方に近くなるよう変換します。
3. 変換したデータに位置エンコーディングで位置情報を与えます
4. そのデータを全く同じモデルのEncoderに与えて6回処理した特徴量を得ます.

2.1.2.後半 : Decoder

では後半部分のdecoderです.

1. Decoderはまず初めの初期値として["StartOfDescription","EN","Transcribe"]を与えます.以後は一つ前に予測した単語を与えます.
2. このデータをTokenizerで単語のIDに変換して、Embeddingでさらに特徴ベクトルに変換します.
3. 手法は異なりますがEncoderと同様な位置エンコーディングを足し合わせます.
4. 6回のDecoderを計算しますが、このときEncoderの情報を使って計算しているのが特徴です.(CrossAttention)
5. 各単語の評価値の配列を得られたら、BeamSearchでもっともらしい単語を複数候補として持ち、1に戻ります. 最終的に複数の候補文字列が全てEndOfTranscriptionのたどり着くとDecoderの繰り返しを終了します.

3.各詳細技術解説

3.1.Tokenizer

実際に見てみると中身は言語にも依存せず、さまざまな単語で構成されていることがわかります。また文字単体出ないことにも注目です。

全ての文字列はTokenizerで変換しなくてはなりませんが、全ての文字を持っているだけでなく単語も持つようになっています。

文字ごとのTokenizerを作ることも可能です。Character-Level Tokenizerと呼びます。 しかし、このような変換をして得られたIDは単語の意味を全く表しておらず扱いにくいです。モデルは全ての文字列の前後関係も学習して意味をとらえなくてはなりません。そのため文字ごとだけでなく、単語レベルも持っておくことでその単語の意味を簡単に扱えるようになります。

しかし、このTokenizerはどのように作られるのでしょうか? ただ単に全ての単語を持つとなると大量の辞書が必要です。また新しい単語の組み合わせが出るたびにTokenizerに加えないといけなくなりそうです。

Tokenizerでは、最大のサイズを決めてサイズに達するまで頻度の高い単語を得ることを行います。

全ての単語の頻度を計算し、残っているペアで最も頻度が高いデータを辞書(Vocab)に追加します。次はそれらを合体した塊にして、残りの中から頻度が高いものを選択していきます。

これまで単語としてきましたが、実際にはByteの組み合わせでTokenizerを作っています。この手法をByte Pair Encoding(BPE)と呼びます.

WhisperはUnicodeで言語を表現しています。そのため"今日"は、"0xe4 0xbb 0x8a 0xe6 0x97 0xa5"と表現できます。BPEではこのレベルに分解した上でTokenzerにどの組み合わせが多いかを登録しています。単語レベルではないため、単語の途中で切れてしまう可能性も全然ありますが、先ほどの実例のように大抵は奇妙な別れ方はしていません。

最初単位が1バイトのため、255通りの表現が最初に登録されています。そのあと50000個の頻出単語を追加して、終端単語の表現を持たせているため、50000+255+1 = 50256個のサイズになっています。 単語数は多くてもモデルが大きくなり、小さくなっても学習に時間がかかるため、ちょうど良い大きさにしておく必要があります。

3.2.Embedding

このようにして文字列を単語のIDの配列に変換したら、最後にEmbeddingで、単語の特徴ベクトルに変換します。

これまでのIDの値は大小に意味がなく、単語間にも関係性がありませんでした。 そこでIDと一対一に対応する特徴ベクトルへの変換処理としてEmbeddingを行います。 これによって次の位置エンコーディングやEncoderに与えることができます.

3.3.言語の推定

3.4.Decoderでの単語の決まり方

出力では、TokenIDに対応するような各単語のスコアの配列が得られlogitsに入れられています。

この中で一部filter処理でヒューリスティックに評価値を調整します。 例えば特定のタイミングの空白を禁止したり、使用できないIDを除去するなどを行います。 そうして整形されたスコアからlogsoftmaxを計算し、logprobに入れます。

計算されたこのlogprobが最大の単語を選べば良いでしょうか? その場合の方法をGreedySearchと呼びます。 しかし、実際にはもっと良い方法が提案されており、WhisperではBeamSearchを適用しています.

3.5.BeamSearch

BeamSearchではGreedySearchのような最もスコアが高いものを選ぶのではなく、複数の単語の文字列候補を持っておき、次に来るべき単語として最もよいものおよびこれまでのスコアの合計を計算します。

これによって前後の文章の関係も踏まえたよい文字列を得ることができます。

WhisperではBeamSizeを指定することでBeamSearchでの結果を得ることができます。