1

Настроил Sphinx. Проиндексировал source. Решил оптимизировать список стоп-слов, а заодно посмотреть часто употребляемые слова в базе - т.е. вывести слова в моем индексе Sphinx в порядке убывания "встречаемости".

Нужно получить, что-то вроде списка "слово_в_приведенной_форме": количество_вхождений. Пример:

и: 1394783948
в: 3482575
дом: 23415
участок: 1241
синхрофазатрон: 1

Как это сделать?

1
  • Есть подозрение, что это невозможно, потому что вряд ли индекс хранит исходные слова. Можно разбить текст на токены с помощью CALL KEYWORDS и потом вручную/скриптом посчитать, но это опять нужно скармливать все тексты
    – andreymal
    22 дек 2020 в 9:39

1 ответ 1

1

Есть специальный режим индексации для этого - indexer --buildstops ... --buildfreqs. На уже построенном индексе в общем случае такое сделать невозможно, т.к. начальные формы могут быть потеряны при нормализации токенов (морфология, exceptions и пр).

1
  • спасибо. То что надо! Я как раз имел ввиду слова в "нормализованном виде"
    – user305545
    23 дек 2020 в 13:36

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.