Beam Search (LLM)
Eine Decodierstrategie, die mehrere Kandidatensequenzen ("Beams") parallel am Leben hält und Schritt für Schritt erweitert, um die insgesamt wahrscheinlichste Gesamtsequenz zu finden — nicht nur das gierig gewählte Wort bei jedem einzelnen Schritt. Verbreitet in der maschinellen Übersetzung, seltener in kreativen Chat-Modellen.
Das Problem, das sie löst: Gieriges Decodieren (immer das wahrscheinlichste nächste Wort wählen) kann sich in eine Sackgasse manövrieren — eine lokal gute Wahl führt zu einem schlechteren Gesamtergebnis. Beam Search behält bei jedem Schritt die B vielversprechendsten Teilsequenzen, erweitert sie alle und behält erneut die B besten → so werden mehrere Pfade erkundet und eine Sequenz mit höherer Gesamtwahrscheinlichkeit gefunden. Vorteil: gut für Aufgaben mit einer "richtigen" Antwort (Übersetzung, Zusammenfassung). Nachteil: Bei offener oder kreativer Generierung liefert es oft langweiligen, repetitiven und generischen Text (die wahrscheinlichste Sequenz ist selten die interessanteste) → weshalb Chat-Modelle lieber auf Sampling (Temperature/Top-p) setzen. Eine klassische Entscheidung zwischen dem Maximieren von Wahrscheinlichkeit und dem Zulassen von Variation. Verwandt mit Nucleus Sampling und Greedy Decoding.