Есть ли алгоритм, который говорит о семантическом сходстве двух фраз?
1 ответ
Можно воспользоваться такой структурой как: word2vec
.
Если требуется семантическая схожесть двух слов w1
и w2
, то просто надо измерить similarity(w1, w2)
. В случае фраз можно измерить близость между суммами векторов каждой из фраз: similarity(sum(phrase1), sum(phrase2))
.
По идее, функция similarity
должна быть реализована в пакетах, предоставляющих word2vec
. А так, довольно часто функцией схожести может послужить косинусная метрика или расстояние Евклида.