3

В Sphinx есть возможность искать по признаку наличия слов в одном предложении. Например, есть текст:

Вася молодец, съел огурец, т.к. проголодался. Такие дела.

Если запросить

молодец SENTENCE огурец

То мы найдем этот текст. Если запросить

молодец SENTENCE проголодался

То мы этот текст уже не найдем, так как видимо в Sphinx реализация разбивки на предложения реализована по-простому и первая попавшаяся тут точка считается концом предложения. Поэтому вопрос.

Как можно настроить в Sphinx более умную разбивку на предложения при подготовке индекса? Подойдет любой вариант - указать что-то в конфигах или подсунуть внешний пакет для разбивки на предложения, например Томита парсер от Яндекса.

ОБНОВЛЕНИЕ

Была идея заранее разбить на предложения с помощью Томита парсера и указать Сфинксу, чтобы в качестве разделителя предложений использовался перевод строки, но судя по исходникам Сфинкса, это вряд ли удастся.

6
  • Побывали использовать stopwords или они применяются только для строки поиска? 13 сен 2016 в 13:22
  • @Makarenko_I_V Мысль интересная. Со stopwords сейчас попробовал, но не получилось. Зато получилось с exceptions. Попробовал задать т.к. => тк и это помогло. Но опять-же, это весьма компромиссный вариант, т.к. грозит лишними склейками предложений, когда аббревиатурой будет заканчиваться предложение ("Одно предложение и т.п. Другое предложение").
    – Nick
    13 сен 2016 в 13:58
  • stopwords нужны
    – etki
    19 сен 2016 в 7:45
  • @Etki Я попробовал прописать их: т.к., но это не дало эффекта. Как ими правильно воспользоваться в этом случае?
    – Nick
    19 сен 2016 в 7:53
  • я не знаю, я, грубо говоря, из теории этот совет выцепил. возможно, сфинкс их применяет после токенизации (в этом случае стоит выкинуть сфинкс и взять lasticsearch)
    – etki
    19 сен 2016 в 7:55

1 ответ 1

0

Решение, которое устроило.

С помощью Томита парсера разбить текст на предложения. Получаем текст, в котором предложения разделены переводом строки.

В каждом полученном предложении удаляем все точки, восклицательные и вопросительные знаки, оставляем только последнюю точку, "?" или "!".

По этим обработанным данным строим индекс в Sphinx. Разбиение на предложения будет происходить нужным образом, так как Sphinx разделяет текст на предложения при нахождении ".", "?" или "!".

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.