0

Делаю парсер, которые должен слить более 10к товаров. При каждом выполнение скрипта проходит по 20 следующим товаром.

Для парсинга использую cURL (получаю HTML код), и Simple HTML Dom Parser (выборка нужных блоков).

Парсер построен так: cURL'ом получаю HTML код страницы каталога с товаром, передаю разметку в HTML Dom Parser:

 $html = str_get_html($html_code);
 $srt_links = $html->find('.block');

Тут приходит 20 блоков, поэтому использую:

foreach ($srt_links as & $value) {

}

чтобы работать со всеми 20-тью блоками.

После идет парсинг каждого товара, то есть получает код 20-ти страниц:

foreach ($srt_links as & $value) { 
    $product = curl($value->href);
    $product_code = str_get_html($product);
    //и тут передаю HTML код страницы товара в Simple HTML Dom Parser чтобы делать выборку по блокам нужной информации.
}

Таким образом получается что парсер переходит и получает сразу HTML код 21 страницы (1 каталог товара + 20 страниц самх товаров). Парсер выполняется около 15 секунд, что очень долго.

Что я делаю не правильно? Как можно ускорить работу парсера?

4
  • Так у вас не параллельно а по очереди страницы грузятся, думаю тут проблема только в скорости ответа удаленного сервера. 12 фев 2018 в 7:13
  • Если админы жадные :), то переходите на чистые регулярки, так как вы однотипную информацию со страницы берете. А если без парсера не можете, то посмотрите сравнение github.com/Imangazaliev/DiDOM/wiki/…
    – Visman
    12 фев 2018 в 7:18
  • Парсер должен быть именно на PHP ? 12 фев 2018 в 7:20
  • вы сначала найдите узкое место в коде, потом уже вопросы задавайте. таймером засеките, сколько времени требуется на получение страницы, сколько на обработку для начала.
    – teran
    9 сен 2021 в 10:17

1 ответ 1

1

В вашей программе, как я понимаю, все время уходит на последовательные запросы к ресурсу, а на сам парсинг уходит лишь малая часть времени. Поэтому надо смотреть в сторону распараллеливания.

Попробуйте переделать свой код под multicurl,тогда запросы будут выполняться быстрее. Ссылка на гитхаб - тыц

1
  • Интересный инструмент этот multicurl!
    – S.H.
    8 янв 2022 в 8:30

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.