По сути, для быстрого поиска нужно проиндексировать содержимое. У меня есть сайт с очень похожим случаем, расскажу о своем опыте.
Быстрый поиск я делал в связке со Сфинксом, поиск работает очень быстро, с учетом морфологии и выводом сниппетов.
Идея такая:
- получаем содержимое страниц
- скармливаем Сфинксу по расписанию
- создаем отдельную страницу поиска
Получаем содержимое страниц
Все страницы нужно обойти и сформировать XML-документ, который нужно подать на вход Сфинкса для индексации.
Создаем файл /var/www/site.ru/xmlpipe2.php
:
class MakeSearch {
const
// адрес сайта
SITE_BASE = 'http://site.ru'
;
public function run()
{
try {
$this->startXml();
$this->putXmlSchema();
// Главная
$this->addPage('/', self::SITE_BASE . 'index.html');
/*
... тут - другие страницы, можно найти файлы через
foreach (glob('/var/www/site.ru/public/*.php') as $file) {}
и "преобразовать" в URI
*/
$this->endXml();
fwrite(STDOUT, $this->xml->flush(true)); // против переполнения памяти
} catch (\Exception $e) {
$msg = $e->getMessage();
fwrite(STDERR, $msg);
die(1);
}
}
/**
* Добавление страницы в XML
*/
protected function addPage($loc)
{
$uri = self::SITE_BASE . $loc;
$content = file_get_contents($uri);
/*
Тут нужно:
- очистить содержимое $content от лишнего - скриптов, шапки, футера, и т.п.
- найти заголовок H1 или Title
Можно использовать регулярки и \DOMDocument
На выходе должна получиться пригодная для индексирования структура $doc:
*/
$doc = [
"text" => "Текст страницы с HTML-оформлением, Сфинкс понимает его",
"title" => "Заголовок",
"uri" => $uri
];
$this->putXmlDoc($doc);
unset($doc); // против утечки памяти если $doc - объект
fwrite(STDOUT, $this->xml->flush(true)); // против переполнения памяти
}
protected $xml;
protected function startXml()
{
$this->xml = new XmlWriter();
$this->xml->openMemory();
$this->xml->setIndent(true);
$this->xml->setIndentString(' ');
$this->xml->startDocument('1.0', 'utf-8');
$this->xml->startElement('sphinx:docset');
}
protected function putXmlSchema()
{
$this->xml->startElement('sphinx:schema');
// основной текст - для поиска
$this->xml->startElement('sphinx:field');
$this->xml->writeAttribute('name', 'text');
$this->xml->endElement();
// основной текст - для сниппетов
$this->xml->startElement('sphinx:attr');
$this->xml->writeAttribute('name', 'snippet');
$this->xml->writeAttribute('type', 'string');
$this->xml->endElement();
// заголовок
$this->xml->startElement('sphinx:attr');
$this->xml->writeAttribute('name', 'title');
$this->xml->writeAttribute('type', 'string');
$this->xml->endElement();
// URI
$this->xml->startElement('sphinx:attr');
$this->xml->writeAttribute('name', 'uri');
$this->xml->writeAttribute('type', 'string');
$this->xml->endElement();
$this->xml->endElement();
}
protected $docID = 0;
protected function putXmlDoc(array $doc)
{
$this->docID++;
$this->xml->startElement('sphinx:document');
$this->xml->writeAttribute('id', $this->docID);
$this->xml->startElement('text');
$this->xml->writeCData($doc['text']);
$this->xml->endElement();
$this->xml->startElement('snippet');
$this->xml->writeCData($doc['text']);
$this->xml->endElement();
$this->xml->startElement('title');
$this->xml->writeCData($doc['title']);
$this->xml->endElement();
$this->xml->startElement('uri');
$this->xml->writeCData($doc['uri']);
$this->xml->endElement();
$this->xml->endElement();
}
protected function endXml()
{
$this->xml->endElement();
}
protected function stderr($msg)
{
fwrite(STDERR, $msg . PHP_EOL);
}
}
$MakeSearch = new MakeSearch;
$MakeSearch->run();
Этот скрипт выдает примерно такой документ, который можно передавать в Сфинкс:
<?xml version="1.0" encoding="UTF-8"?>
<sphinx:docset>
<sphinx:schema>
<sphinx:field name="text"/>
<sphinx:attr name="snippet" type="string"/>
<sphinx:attr name="title" type="string"/>
<sphinx:attr name="uri" type="string"/>
</sphinx:schema>
<sphinx:document id="1">
<text><![CDATA[Текст страницы с HTML-оформлением, Сфинкс понимает его]]></text>
<snippet><![CDATA[Текст страницы с HTML-оформлением, Сфинкс понимает его]]></snippet>
<title><![CDATA[Заголовок]]></title>
<uri><![CDATA[http://site.ru/]]></uri>
</sphinx:document>
</sphinx:docset>
Скармливаем Сфинксу по расписанию
Предварительно необходимо установить Сфинкс.
Строка для крона с целью индексирования каждые 12 часов выглядит так:
* */12 * * * indexer --rotate site_content > /tmp/sphinx-site.ru 2>&1
Теперь нужно определить индекс site_content
, для чего в конец /etc/sphinxsearch/sphinx.conf
добавить:
# Источник данных - наш PHP скрипт
source site_content_src
{
type = xmlpipe2
xmlpipe_command = php /var/www/site.ru/xmlpipe2.php
}
# Собственно, индекс
index site_content
{
source = site_content_src
path = /var/data/sphinx/site_
docinfo = extern
morphology = stem_ru
min_stemming_len = 3
min_word_len = 2
min_infix_len = 2
charset_table = /, 0..9, A..Z->a..z, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F, U+401->U+435, U+451->U+435
html_strip = 1
# wordforms = /
# stopwords = /
blend_chars = -
}
По опциям можно прочитать в спраке. Некоторые из них могут устареть в новых версиях (кажется, charset_table
).
Первый раз можно запустить индексацию вручную из командной строки:
indexer --rotate site_content
Создаем отдельную страницу поиска
Сфинкс может работать по протоколу MySQL на 9306 и общаться на "урезанном" SQL. Для поиска используется WHERE MATCH("то, что ищем")
, а для сниппетов - CALL SNIPPETS(...)
.
Вот класс для поиска:
class SphinxSearch {
public function __construct()
{
$dsn = sprintf('mysql:host=%s;port=%s', '127.0.0.1', 9306);
$this->mysql = new PDO($dsn, $this->config['mysql']['login'], $this->config['mysql']['password'],
[
PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES utf8",
PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,
PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION
]
);
}
public function get($q)
{
$db = $this->mysql->prepare("SELECT * FROM site_content WHERE MATCH(:q)", array(PDO::ATTR_CURSOR => PDO::CURSOR_SCROLL));
$db->execute([':q' => $q]);
$list = $db->fetchAll();
if(count($list) > 0) {
$db = $this->mysql->prepare("CALL SNIPPETS(:snippet, 'site_content', :q)", array(PDO::ATTR_CURSOR => PDO::CURSOR_SCROLL));
foreach($list as &$it) {
$db->execute([':snippet' => $it['snippet'], ':q' => $q]);
$it['snippet'] = $db->fetch(PDO::FETCH_COLUMN);
unset($it['id']);
}
}
return $list;
}
}
Использование очень простое:
$sphinxSearch = new SphinxSearch;
$data = $sphinxSearch->get($_GET['q']);