TF-IDF
Więcej informacji
- Twórca
- Chris Hülsbeck
- Rok
- 1987
- Typ
- Format muzyczny i procedura odtwarzania
- Platforma
- Amiga, C64
Term Frequency × Inverse Document Frequency. Klasyczny wzór do rankingu tekstów: waga słowa = jak często występuje w dokumencie × jak rzadkie jest w korpusie. Standard od lat 70., podstawa BM25.
TF to liczba wystąpień słowa w dokumencie, często skalowana logarytmicznie. IDF to log(N / df), gdzie df oznacza liczbę dokumentów zawierających to słowo. Słowa rzadkie, występujące w kilku dokumentach, dostają wysokie IDF; powszechne („i”, „w”) – niskie. Wynik końcowy to TF × IDF. Zastosowania: domyślna punktacja w Lucene/Elasticsearch (przed BM25), inżynieria cech w uczeniu maszynowym, proste wydobywanie słów kluczowych. Dziś w praktycznych wyszukiwarkach TF-IDF zastąpił BM25 (lata 90.) – probabilistyczne ulepszenie z normalizacją długości i nasyceniem. O podobieństwo semantyczne rywalizuje z nim wyszukiwanie oparte na osadzeniach (wektorowe).