Я хочу нормировать скалярное произведение при ранжировании.
Объясню простыми словами, а потом добавлю чуть-чуть математики. Пусть у нас есть 2 поисковые выдачи. Одна поисковая выдача сформирована для запроса Пупкины сыновья
, а вторая -- для запроса Сыновья Пупкины
. Тогда имеем выдачу:
document_0, score_0
document_1, score_1
document_2, score_2
...
document_p, score_p
Выдача для второго запроса:
document_0, score_0
document_1, score_1
document_2, score_2
...
document_q, score_q
Пусть score_0 для первой выдачи равен 500. А score для второй выдачи равен 0.5. Задача требуется уметь сравнивать скоры различных выдач и оценивать релевантность друг относительно друга.
По умолчанию функция ранжирования, насколько я знаю, является скалярным произведением. Например, у нас есть вектор для запроса (v)
и вектор для документов (d_i)
. Для ранжирования мы делаем (q, d_i)
для всех i
, где (., .)
- скалярное произведение. Пожалуйста, объясните мне, можно ли рассчитать (q / | q |, d_i / | d_i |)
? Мне кажется, что если решение и существует, возможно три решения моей проблемы.
function_score
. Могу ли я получить вес (tf-idf) вfunction_score
?- получение всех весов с помощью API elasticsearch. Флаг
explain
не подходит так как с ним запрос будет обрабатываться крайне долго. Другая сторона отрицательная сторонаexplain
-- возврат пересечения (токеныq
иd_i
). Обратите внимание: хотя сейчас я говорю о точечном произведении, в будущем я хочу вычислить евклидово расстояние. - нормализовать веса поиска по умолчанию