0

Подскажите пожалуйста. Если стоит задача кластеризации нескольких тысяч поисковых запросов ( то есть коротких предложений в 2-5 слов, не обязательно русских ) Каким алгоритмом кластеризации лучше воспользоваться и какой подход вообще обычно используют при решении подобных задач (переход от текста к некотором векторному представлению и кластеризация векторов?) И каким образом оценить качество реализованного подхода (какую метрику использовать, если нету размеченных данных с определенными кластерами)?

1 ответ 1

2

То, о чем вы спрашиваете - классическая задача кластеризации текстов на естественном языке. Хорошо изученная и многократно описанная. Решается примерно так как вы и написали - сначала перевод в некоторое многомерное пространство, потом кластеризация, т.е. автоматическая разметка данных в указанном пространстве без наличия обучающей разметки. Информации по теме - огромное количество. Ну например, для начала, можете заглянуть сюда:

https://compscicenter.ru/courses/nlp/2014-spring/classes/325/

https://kelijah.livejournal.com/196774.html

https://logic.pdmi.ras.ru/~sergey/teaching/mlbeeline16/N16_BeelineTextMining.pdf

http://habr.com/post/170619/

https://www.linkedin.com/pulse/nlp-text-analytics-simplified-document-clustering-parsa-ghaffari/

http://arxiv.org/pdf/1707.02919.pdf

http://sntbul.bmstu.ru/file/759414.html?__s=1

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.