0

Имеется парсер цен на РНР:

foreach ($products as $product){
    ...
    $pageContent = file_get_contents($sourcePageURL);
    preg_match('/<'.$openedTagWithClass.'>'(.*?)<\\/'.$openedTag.'>/is', $pageContent, $priceString);
    $priceFromLink = $priceString[1];
    ...
}

В массиве $products каждый элемент содержит ссылку на страницу с источником цены и открывающий тег с классом. Т.е. file_get_contents() берет содержимое страницы по ссылке, а preg_match() вытягивает с него только цену между указанными тегами.

Пока что на входе массив содержит немного страниц, но со временем планируется несколько сотень поэтому интересует вопрос: как можно минимизировать нагрузку на сайты-источники или их сервера при выполнении данного процесса?

Может как то разбивать весь цикл на части или как, не ориентируюсь глубоко что на самом деле происходит, в общем нужно как то оптимизировать данный процесс если на входе будут сотни страниц.

2 ответа 2

2

file_get_contents() это то же HTTP-запрос. Если сайт-источник отдаёт Last-Modified, то хороший вариант - обрабатывать это.

  1. Где-то у себя сохраняете информацию вида URL => Last-Modified
  2. Используете не file_get_contents(), а непосредственно HTTP-запрос (как - тут много вариантов, например, curl), с HTTP-заголовком If-Modified-Since: значение_для_этого_URL.
  3. Если получили HTTP 304, то ничего не делаем, информация не изменилась.
  4. Получили что-то другое - обрабатываем и сохраняем новое значение времени модификации в базе.

Ещё можно ввести паузы между запросами.

Всё остальное происходит на вашей стороне, поэтому на сайт-источник никак повлиять не может (а если он начнёт блокировать вас - это уже совсем другая тема).

2
  • К стати, употребляет ли curl меньше памяти чем file_get_contents? (независимо от того о памяти какого сервера идет речь: моего или сервера сайта-источника)
    – stckvrw
    Commented 29 мар. 2017 в 12:50
  • @stckvrw происходящее на вашей стороне никак не может ничего потреблять на сайте-источнике. Ему всё равно чем вы запрашиваете. Про потребление памяти не знаю, меряйте.
    – PinkTux
    Commented 29 мар. 2017 в 12:57
1

Если вы будете продолжать в том же духе, то наткнетесь вот на это Основываясь на собственном опыте и руководствуясь статьей по оптимизации я вижу что ваш код жрет слишком много оперативной памяти, ввиду того что вы используете регулярные выражения ко всему объему информации 1 что может потреблять память - если в этом цикле идет присвоение к массиву, то это выносится за цикл ссылкой вот так

$save_memory=&$arr;//добавлено с целью оптимизации памяти в икле
foreach ($products as &$product){
    ...
    $arr[]=$some_sing;
    ...
    $pageContent = file_get_contents($sourcePageURL);
    preg_match('/<'.$openedTagWithClass.'>'(.*?)<\\/'.$openedTag.'>/is', $pageContent, $priceString);
    $priceFromLink = $priceString[1];
    ...
    unset($pageContent,$product);
}

Во вторых избавиться от регулярных выражений

    $reader = new XMLReader();
    $save_memory=&$arr;//добавлено с целью оптимизации памяти в икле
    foreach ($products as &$product){
        ...
        $arr[]=$some_sing;
        ...
        $pageContent = file_get_contents($sourcePageURL);
        $reader->open($pageContent); // указываем ридеру что будем парсить этот файл
        while($reader->read()) {
           if($reader->localName == $openedTag 
              && $reader->getAttribute('class') == 'искомый класс')
           {
              //$movies = new SimpleXMLElement($reader->readString);
              //$priceFromLink = $movies->{$openedTag};
              $priceFromLink = $reader->readString;
           }
        }

        ...
        unset($pageContent,$product);
    }

поправьте меня в строке

 $priceFromLink = $reader->readString;

Есть еще вариант - это phpQuery

5
  • А каким образом всё это относится к снижению нагрузки на сайты-источники?
    – PinkTux
    Commented 24 мар. 2017 в 19:34
  • @PinkTux снижать нагрузку можно только на своем сервере. Снижать нагрузку на другие серверы можно лишь при помощи одно команды usleep(10000); Либо договориться с ними о создании api
    – Mcile
    Commented 25 мар. 2017 в 3:31
  • Во-первых, не только (см. мой ответ), во-вторых, я в курсе. Спрашиваю про другое: какое отношение ваш ответ имеет к вопросу?
    – PinkTux
    Commented 25 мар. 2017 в 9:47
  • Да, верно: интересует как снизить нагрузку на серверы сайтов-источников, а не на мой сервер, обновляю цены на локалке
    – stckvrw
    Commented 26 мар. 2017 в 20:43
  • @Mcile, по поводу ридера, то дело в том что сайты-источники разные и у них цена содержится внутри разных тегов с разными атрибутами: классами, айди, data- и т.д. Поэтому $reader->getAttribute('class') == 'искомый класс' здесь не подходит. Нужен более гибкий метод, чтобы можно было указать любые атрибуты к хтмл-тегу и в любом порядке например div class="product-price" id="price". Кроме того внутри тега, но еще ПЕРЕД самой ценой, может быть какой то повторяющийся текст например <div class="product-price" id="price">Цена: 100 у.е.</div> (т.е. повторяется слово "Цена")
    – stckvrw
    Commented 29 мар. 2017 в 12:52

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.