Задача: Есть предложения и нужно получить список похожих слов.
Пробовал вот такой путь, но он не эффективен:
Я удаляю всю пунктуацию и делю все на слова, деля по пробелу.
В итоге у меня получается ~170 000 уникальных слов.
Далее, я думал все это прогнать через какой-нибудь алгоритм вычисления похожести слов, например Расстояние Левенштейна, а потом используя некоторых критерий похожести получить похожие отсея слова, которые очень сильно отличаются для ручного просмотра и корректировки.
Однако, сравнивая слова между собой-это где-то 170 000^2 итераций => долго.
Как можно повысить эффективность?