Имеется парсер цен на РНР:
foreach ($products as $product){
...
$pageContent = file_get_contents($sourcePageURL);
preg_match('/<'.$openedTagWithClass.'>'(.*?)<\\/'.$openedTag.'>/is', $pageContent, $priceString);
$priceFromLink = $priceString[1];
...
}
В массиве $products
каждый элемент содержит ссылку на страницу с источником цены и открывающий тег с классом. Т.е. file_get_contents()
берет содержимое страницы по ссылке, а preg_match()
вытягивает с него только цену между указанными тегами.
Пока что на входе массив содержит немного страниц, но со временем планируется несколько сотень поэтому интересует вопрос: как можно минимизировать нагрузку на сайты-источники или их сервера при выполнении данного процесса?
Может как то разбивать весь цикл на части или как, не ориентируюсь глубоко что на самом деле происходит, в общем нужно как то оптимизировать данный процесс если на входе будут сотни страниц.