0

Я делаю поисковую систему. И возник вопрос, на каком этапе нужно применять стемминг при индексировании документов, либо на этапе начальной обработки запроса?

3
  • 1
    Всё зависит от вашего индекса. Классическая схема предполагает, что на первом этапе вы разбиваете текст на леммы (стемминг - самый простой вариант, есть ещё и лемматизация). На втором исходный текст индексируется по полученным леммам: строятся связи между ними и лексемами текста. А запрос обрабатывается в любом случае.
    – user6550
    25 апр 2013 в 18:28
  • klopp, в моем случае все найденные на странице слова добавляются в индекс, и создаются ссылки между словами и их вхождениями в документ. Мне только не понятно, если я буду обрезать слова, то получается что в базе данных будут храниться обрезанные слова? К примеру, слово военный после стемминга будет воен. Получается что в базе будет храниться слово воен?
    – skyboy
    25 апр 2013 в 18:50
  • Ну это почти то же самое, о чём я и говорю. Сейчас в ответ подробней вынесу.
    – user6550
    25 апр 2013 в 18:53

1 ответ 1

6

Как может выглядеть индекс. Не будем сейчас рассматривать сложные запросы, ограничимся только поиском одного слова (ну или нескольких в режиме "искать каждое независимо"). Допустим, у нас есть текст:

Василий Топоров ломал топор, ломал, да не сломал. Топорно!

Этап 1. Разбиваем текст на лексемы и складываем в базу. Второе поле - позиция в тексте (стоп-слова выкидываем, но привязка к оригинальному тексту может быть и сложней):

 id  pos  lexeme
 1 | 1  | Василий 
 2 | 2  | Топоров
 3 | 3  | ломал
 4 | 4  | топор
 5 | 5  | ломал
 6 | 8  | сломал
 7 | 9  | Топорно

Этап 2. Обрабатываем лексемы стеммером, получаем 4 штуки, пишем в таблицу:

id  stem
1 | васил
2 | топор
3 | слом
4 | лом

Этап 3. Строим связи между лексемами и стемами, пишем в третью таблицу:

lexem_id   stem_id
1        | 1
2        | 2 
3        | 4
4        | 2
5        | 4
6        | 3
7        | 2

Готово! Теперь если запрашивается слово "топоры", мы обрабатываем запрос стеммером, получаем "топор". Смотрим во вторую/третью таблицы, сопоставляем найдённые lexem_id с первой таблицей, и в оригинальном тексте выделяем слова на позициях 2, 4, и 9.

Здесь, кстати, видны и недостатки стеммера - слова "ломал" и "сломал" дают разные результаты. Поэтому применяются более сложные алгоритмы, например, приведение слов к лемме - так называемой "нормальной" форме. Ну то есть для существительных - ед.ч. им. падеж, для прилагательных - то же самое + мужской род, и т.д. Всё это дело непростое, особенно для русского языка, поэтому... Юзайте готовые поисковые движки или библиотеки, которые это уже умеют :-)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.