TF-IDF
Term Frequency × Inverse Document Frequency. Klassische Formel zur Textbewertung: Wortwichtigkeit = Häufigkeit im Dokument × Seltenheit im Korpus. Standard seit den 1970ern. Grundlage von BM25.
TF: Anzahl des Terms im Dokument — oder logarithmisch skaliert. IDF: log(N / df), wobei df die Anzahl der Dokumente ist, die den Term enthalten. Seltene Terme, die nur in wenigen Dokumenten vorkommen, bekommen einen hohen IDF-Wert, häufige Wörter wie "der" oder "von" einen niedrigen. Endgültiger Score = TF × IDF. Einsatzgebiete: Standard-Scoring in Lucene/Elasticsearch vor BM25, Feature-Engineering für ML, einfache Keyword-Extraktion. Modern: BM25 aus den 1990ern ist eine probabilistische Verbesserung mit Längennormalisierung und Sättigung und ersetzt TF-IDF in praktischen Suchmaschinen. Embedding-basierte Suche (Vektor-Retrieval) konkurriert bei semantischer Ähnlichkeit.