На сайте text.ru, есть инструмент определяющий уникальность текста, орфографию, количество воды и заспамленность. Какой алгоритм работы последних двух опций?
-
Я не знаю, что конкретно там сделано, но я кое-что понимаю в этом деле. Какую задачу Вы хотите решить?– Александр Муксимов10 янв 2017 в 16:39
-
@Александр Муксимов, интересует, как машина может определять такие данные, откуда берет и каким образом, это личный интерес– Node_pro10 янв 2017 в 16:53
-
Это один из возможных подходов en.wikipedia.org/wiki/Automated_essay_scoring#Criticism– Александр Муксимов10 янв 2017 в 17:27
1 ответ
В указанном вами источнике указано по поводу "воды":
Данный параметр отображает процент наличия в тексте стоп-слов, фразеологизмов, а также словесных оборотов, фраз, соединительных слов, являющихся не значимыми и не несущими смысловой нагрузки.
То есть собран некий словарь "не значащих и не несущих смысловой нагрузки" (По мнению авторов. Лично я без этих слов смысл текста теряю) слов и выражений. Выделить/сопоставить в обрабатываемом тексте слова по данному словарю и назвать их "водой" - "дело техники".
По поводу "заспамленности".
Процент заспамленности текста отражает количество поисковых ключевых слов в тексте. Чем больше в тексте ключевых слов, тем выше его заспамленность:
Тоже словарь неких поисковых слов. Выделяем, сопоставляем, называем как хотим.
Исскуственного интеллекта и семантических сетей, я лично, там не предполагаю.