使用単語頻度で文章がコピペ検出したい

使用する単語の頻度を元に文章がコピペを検出する方法についてまとめます. ここでは 1. 文章における単語の頻度をベクトルを算出 2. 双方(検査対象、比較対象)のベクトルによって一致率を計算 を行って単語の頻度から文章の類似度を計算し、コピペを判定します.

まず初めてに文章の特徴ベクトルを求めます. Bag of Wordsでは使用される単語をベクトルにしてその文章内での頻度を計算します. そのため、まずそれぞれの使用される回数を求めて、全体の回数で割ることによってベクトルを得ます.

例 : I buy book ....... bookstore ... ... $$\overrightarrow{ w } = ("buy", "book", ..., "bookstore")=(4, 5,..., 10)$$ $$\overrightarrow{ BOW } = (0.04, 0.05 , ...., 0.1)$$

TF-IFDではBag-Of-Wordsで求めたベクトルにもう一ひねり加えています. 他の文章ではあまり使われていない珍しい単語を含んでいたらその単語の重みをあげて特徴にすることをしています.TF-IFDは単語の頻度(Term Frequency = TF)と逆頻度文書(Inverse Document Frequency = IFD)の二つから構成されていることから命名されている通りです. これによってBOWを少し変えた特徴量を得られます.

文章の特徴ベクトルが求められたのであとは文章同士が似ているかどうかを判定することになります. それはすなわちベクトルの類似度を求めることと同義です.

最も有名なベクトル間の類似度はコサイン類似度です. 今回の場合にも当てはめることができ、文章のコピペの判断においてはこれで大方良さそうです.

Jaccardの類似度を計算しても良いですが、 Jaccard類似度よりCosine類似度で計算した場合の方が頻度の少ないものにも重みをつけるためわずかながらよいとする論文もあります.