TF-IDF
Term Frequency × Inverse Document Frequency。古典的なテキストのランキング式で、語の重要度は、文書内での出現頻度 × コーパス内での希少性で決まる。1970年代からの標準で、BM25の土台でもある。
TFは文書内の語の出現回数（対数スケールのこともある）。IDFは log(N / df) で、dfはその語を含む文書の数だ。少数の文書にしか現れない稀な語はIDFが高く、「the」「of」のような一般的な語は低くなる。最終スコアは TF × IDF。用途は、Lucene/Elasticsearchの（BM25以前の）既定のスコアリング、機械学習の特徴量エンジニアリング、簡単なキーワード抽出など。現在は、1990年代の確率モデルであるBM25が、文書長の正規化と飽和を備えた改良版として、実用的な検索エンジンでTF-IDFに取って代わった。意味的な類似度では、埋め込みベースの検索（ベクトル検索）が競合する。