HyDE
Hypothetical Document Embeddings — приём поиска: LLM сначала сочиняет «идеальный ответ» на вопрос, а искать начинают по эмбеддингу этого ответа, а не вопроса. Идея в том, что вымышленный ответ похож на настоящие документы больше, чем сам вопрос.
Проблема: короткий вопрос («Как работает фотосинтез?») и подробный документ-ответ выглядят в пространстве эмбеддингов по-разному (разрыв в словаре и форме), поэтому эмбеддинг вопроса не всегда хорошо совпадает. HyDE просит модель сгенерировать гипотетический ответ (пусть с ошибками — это не так важно), строит его эмбеддинг и ищет по этому вектору. Поскольку выдуманный ответ написан как настоящий документ, он оказывается ближе к подлинным ответам в векторном пространстве — результаты лучше, особенно в zero-shot. Цена: лишний шаг генерации (задержка и стоимость), а если тема модели совершенно незнакома, она может увести не туда. Один из приёмов преобразования запроса. Связан с расширением запроса и моделью эмбеддингов.