0

Я хочу нормировать скалярное произведение при ранжировании.

Объясню простыми словами, а потом добавлю чуть-чуть математики. Пусть у нас есть 2 поисковые выдачи. Одна поисковая выдача сформирована для запроса Пупкины сыновья, а вторая -- для запроса Сыновья Пупкины. Тогда имеем выдачу:

document_0, score_0
document_1, score_1
document_2, score_2
...
document_p, score_p

Выдача для второго запроса:

document_0, score_0
document_1, score_1
document_2, score_2
...
document_q, score_q

Пусть score_0 для первой выдачи равен 500. А score для второй выдачи равен 0.5. Задача требуется уметь сравнивать скоры различных выдач и оценивать релевантность друг относительно друга.

По умолчанию функция ранжирования, насколько я знаю, является скалярным произведением. Например, у нас есть вектор для запроса (v) и вектор для документов (d_i). Для ранжирования мы делаем (q, d_i) для всех i, где (., .) - скалярное произведение. Пожалуйста, объясните мне, можно ли рассчитать (q / | q |, d_i / | d_i |)? Мне кажется, что если решение и существует, возможно три решения моей проблемы.

  • function_score. Могу ли я получить вес (tf-idf) в function_score?
  • получение всех весов с помощью API elasticsearch. Флаг explain не подходит так как с ним запрос будет обрабатываться крайне долго. Другая сторона отрицательная сторона explain -- возврат пересечения (токены q и d_i). Обратите внимание: хотя сейчас я говорю о точечном произведении, в будущем я хочу вычислить евклидово расстояние.
  • нормализовать веса поиска по умолчанию

1 ответ 1

0

Судя по всему, это невозможно сделать. Единственный вариант, который мне предложили -- это пропатчить эластик. Но данный вариант не выглядит адекватным, так как это придётся переделывать после любого обновления версии. Это больно. Скрипты не позволяют добраться до весов. Плагины -- аналогично.

Объясняется это скорее всего тем, эластик распределённый и не все веса хранятся на одном шарде.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.