TF-IDF
Term Frequency × Inverse Document Frequency — классическая формула ранжирования текстов: важность слова = как часто оно встречается в документе × насколько оно редко в корпусе. Стандарт с 1970-х и основа BM25.
TF — число вхождений термина в документ (или его логарифм). IDF — log(N / df), где df — число документов с этим термином. Редкие термины, встречающиеся лишь в нескольких документах, получают высокий IDF, а частые слова («и», «в») — низкий. Итоговая оценка = TF × IDF.
Применение: оценка по умолчанию в Lucene и Elasticsearch (до BM25), инженерия признаков в ML, простое извлечение ключевых слов. В поисковых системах его заменил BM25 (1990-е) — вероятностное улучшение с нормализацией по длине и насыщением. За семантическое сходство конкурирует векторный поиск на эмбеддингах.