2

Какой алгоритм лучше всего использовать для поиска в тексте?

Для примера возьмем php MySQL.

Конструкция like, как показывает опыт, - полная хрень для поиска, когда речь идет о большой посещаемости и большом количестве информации.

Что посоветуете? Есть литература или ссылки - кидайте, пригодится все.

1
  • в первую очередь вопрос о высоко посещаемом сайте с огромной текстовой базой и нужно искать слова либо предложения по тексту 1 ноя 2012 в 19:33

4 ответа 4

5

Лучше всего - смотреть в сторону готовых поисковых движков. А если хочется самому изобрести очередной велосипед, то начать с того, что поиск ведётся не по контенту, а по отдельному массиву информации, который строится, например, так:

  1. слова со страницы приводятся к единой форме (существительные - им. пад, ед. число etc)
  2. заносятся в базу с указанием дополнительной информации (например, порядковый номер слова на странице, сама страница, изначальная словоформа, какими тегами окружено - всё, что может понадобиться)
  3. ...

Дальше - работаем с поисковым запросом. Самый простой вариант: одно слово. Приводим его к той же словоформе, как в пункте 1, ищем. Находится - не забываем выдать исходный фрагмент (для этого и сохраняем "оригинальные" версии слов, их порядок...). Нужно искать несколько слов или работать с языком запросов - продолжаем морщить лоб, но к этому времени или идея писать свой движок умрёт сама собой, или ответы на возникающие вопросы уже будут получены :)

Ну и организацией этого хранилища должен заниматься отдельный движок. Или совсем отдельный, который периодически обходит страницы, смотрит на изменения и строит присковый индекс (Яндекс.Сайт etc). Или обновление поискового индекса происходит при создании/редактировании страницы, простейший вариант реализован в движках многих форумов.

Как-то так, в самых общих чертах, без подробностей :) Так что - см. первое предложение первого абзаца.

3

Sphinx с периодической индексацией информации по cron.. Других нормальных вариантов пока не придумали.. Eсть еще Lucene, но оно для Java

1
2

Php для такой задачи не очень подходит, для морды веб проекта-да. Тут еще смотря как поиск происходить будет - просто по файловой системе или по бд. Вам сказали, что есть много движков так пользуйтесь ими. Есть еще nutch, solr. Это тяжеловесы. Очень хорошие штуки. Я бы на вашем месте использовал java, в ней много чего есть для работы с интернетом.

0

Аналоговая корреляция.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.