TF-IDF
Term Frequency × Inverse Document Frequency. Fórmula clásica de ranking de texto: la importancia de una palabra = cuán frecuente es en el documento × cuán rara es en el corpus. Estándar desde los años 70. Base de BM25.
TF: recuento del término en el documento, a veces con escala logarítmica. IDF: log(N / df), donde df es el número de documentos que contienen el término. Los términos raros (propios de pocos documentos) reciben un IDF alto; las palabras comunes (artículos, preposiciones) reciben uno bajo. La puntuación final es TF × IDF. Casos de uso: el scoring por defecto de Lucene/Elasticsearch antes de BM25, ingeniería de características para ML, extracción básica de palabras clave. BM25 (años 90) es una mejora probabilística con normalización por longitud y saturación, y ha sustituido a TF-IDF en los motores de búsqueda reales. La búsqueda basada en embeddings compite por el terreno de la similitud semántica.