N-gram
n個連続した文字または単語の並び。文章がどれだけ言語らしいかを測るのに使う。
n=2ならバイグラム、3ならトライグラム、4ならクワッドグラムと呼ぶ。言語には安定したパターンがある。英語では「TH」や「HE」がよく現れ、「QZ」はほぼ現れない。大きなコーパスでn-gramの頻度を数えれば、平文の候補に対するスコア関数が得られる。言語らしいテキストは高得点になり、ランダムな文字列は低得点になる。
同じ数え上げは統計的言語モデルの根底にもある。文字を単語やトークンに置き換えただけだ。暗号解読者は、それが「言語モデリング」と呼ばれる何十年も前から、文字の並びを数えていた。