Доброго времени суток! У меня есть скрипт, который парсит много страниц. Причем некоторые страницы приходится грузить через curl. И работает он очень медленно - нельзя ли как нибудь его оптимизировать?
-
2Можно- надо все переписать на Си. А вообще черные ящики трудно поддаются оптимизации.– ReinRaus14 апр 2013 в 13:26
-
ага, а если на ассемблере - то вообще летать будет)– woland14 апр 2013 в 13:31
-
1Намек не понят видимо :) Чёрный ящик Как можно говорить об оптимизации не видя кода? Могу еще посоветовать скриптовый парсер заменить на регулярные выражения- один нативный вызов регулярного выражения лучше кучи строк скрипта с кучей скриптовых вызовов.– ReinRaus14 апр 2013 в 13:53
-
кода 500< строк, не могу же я весь выложить. на счет регулярок - я simple_html_dom использую– woland14 апр 2013 в 14:31
-
1Очень рекомендую ознакомится со статьей [Сравнение библиотек для парсинга][1], по выводам simple_html_dom самая тормозная, причем сильно. [1]: habrahabr.ru/post/114323– thunder14 апр 2013 в 17:58
1 ответ
Во-первых, пропустите свою программу через профайлер. Например, xdebug. Вы должны сразу увидеть, какие вызовы занимают больше всего времени. Их и оптимизируете.
Во-вторых, если вам нужно выдергивать всего несколько значений, я рекомендую использовать регулярные выражения. Однако при усложнении структуры парсера от них придётся отказаться.
В третьих, советую посмотреть на специальные библиотеки, которые занимаются парсингом. Например, существует несколько библиотек для PHP, которые разбирают HTML документы в DOM и работают довольно быстро.
В четвертых, можно использовать акселераторы для PHP. Они иногда значительно ускоряют обработку скрипта. С их списком можно ознакомиться, например, тут.
Ну и в последних, если всё выше перечисленное не вариант, вам придётся пересаживаться на более быстрый и близкий к машине язык, вроде С.
Подробнее ничего сказать нельзя, не видя реализации и результата работы профайлера.
-
2>вам придётся пересаживаться на более быстрый и близкий к машине язык, вроде С. @khaos, мне вполне хватает перла, при том, что "много" - это сотни тысяч сраниц :) Не нужно бежать впереди паровоза, вполне может и оказаться так, что основное время тратится не на парсинг, а на скачивание страниц. Например, хорошо ускоряет процесс передача (и обработка) gzip в Accept-Encoding, обработка Last-Modified тоже полезна etc.– user655014 апр 2013 в 17:25
-
@klopp, вполне вероятно. Мне это тоже немного странно. Но без профайлера (или ручного выяснения временных интервалов), лучше ничего сказать нельзя.– khaos14 апр 2013 в 22:21