0

Подскажите пожалуйста. Если стоит задача кластеризации нескольких тысяч поисковых запросов ( то есть коротких предложений в 2-5 слов, не обязательно русских ) Каким алгоритмом кластеризации лучше воспользоваться и какой подход вообще обычно используют при решении подобных задач (переход от текста к некотором векторному представлению и кластеризация векторов?) И каким образом оценить качество реализованного подхода (какую метрику использовать, если нету размеченных данных с определенными кластерами)?

1 ответ 1

2

То, о чем вы спрашиваете - классическая задача кластеризации текстов на естественном языке. Хорошо изученная и многократно описанная. Решается примерно так как вы и написали - сначала перевод в некоторое многомерное пространство, потом кластеризация, т.е. автоматическая разметка данных в указанном пространстве без наличия обучающей разметки. Информации по теме - огромное количество. Ну например, для начала, можете заглянуть сюда:

https://compscicenter.ru/courses/nlp/2014-spring/classes/325/

https://kelijah.livejournal.com/196774.html

https://logic.pdmi.ras.ru/~sergey/teaching/mlbeeline16/N16_BeelineTextMining.pdf

http://habr.com/post/170619/

https://www.linkedin.com/pulse/nlp-text-analytics-simplified-document-clustering-parsa-ghaffari/

http://arxiv.org/pdf/1707.02919.pdf

http://sntbul.bmstu.ru/file/759414.html?__s=1

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.