IT-словарь › ИИ & ML › N-грамма

N-грамма

ИИ & ML Svenska → Обновлено: 2026-10-18

Последовательность из n соседних символов или слов, по которой измеряют, насколько текст похож на естественный язык.

Биграммы (n=2), триграммы (n=3), квадрограммы (n=4) и так далее. У языков устойчивые закономерности: «TH» и «HE» часты в английском, а «QZ» почти не встречается. Подсчёт частот n-грамм на большом корпусе даёт оценочную функцию для кандидатов в открытый текст: то, что похоже на язык, получает высокий балл, случайные буквы — низкий.

На том же подсчёте стоят статистические языковые модели, только вместо символов в них слова или токены. Криптоаналитики считали последовательности букв десятилетиями, прежде чем кто-то назвал это языковым моделированием.

← Назад к словарю