0

Доброго времени суток! У меня есть скрипт, который парсит много страниц. Причем некоторые страницы приходится грузить через curl. И работает он очень медленно - нельзя ли как нибудь его оптимизировать?

5
  • 2
    Можно- надо все переписать на Си. А вообще черные ящики трудно поддаются оптимизации.
    – ReinRaus
    14 апр 2013 в 13:26
  • ага, а если на ассемблере - то вообще летать будет)
    – woland
    14 апр 2013 в 13:31
  • 1
    Намек не понят видимо :) Чёрный ящик Как можно говорить об оптимизации не видя кода? Могу еще посоветовать скриптовый парсер заменить на регулярные выражения- один нативный вызов регулярного выражения лучше кучи строк скрипта с кучей скриптовых вызовов.
    – ReinRaus
    14 апр 2013 в 13:53
  • кода 500< строк, не могу же я весь выложить. на счет регулярок - я simple_html_dom использую
    – woland
    14 апр 2013 в 14:31
  • 1
    Очень рекомендую ознакомится со статьей [Сравнение библиотек для парсинга][1], по выводам simple_html_dom самая тормозная, причем сильно. [1]: habrahabr.ru/post/114323
    – thunder
    14 апр 2013 в 17:58

1 ответ 1

4

Во-первых, пропустите свою программу через профайлер. Например, xdebug. Вы должны сразу увидеть, какие вызовы занимают больше всего времени. Их и оптимизируете.

Во-вторых, если вам нужно выдергивать всего несколько значений, я рекомендую использовать регулярные выражения. Однако при усложнении структуры парсера от них придётся отказаться.

В третьих, советую посмотреть на специальные библиотеки, которые занимаются парсингом. Например, существует несколько библиотек для PHP, которые разбирают HTML документы в DOM и работают довольно быстро.

В четвертых, можно использовать акселераторы для PHP. Они иногда значительно ускоряют обработку скрипта. С их списком можно ознакомиться, например, тут.

Ну и в последних, если всё выше перечисленное не вариант, вам придётся пересаживаться на более быстрый и близкий к машине язык, вроде С.

Подробнее ничего сказать нельзя, не видя реализации и результата работы профайлера.

2
  • 2
    >вам придётся пересаживаться на более быстрый и близкий к машине язык, вроде С. @khaos, мне вполне хватает перла, при том, что "много" - это сотни тысяч сраниц :) Не нужно бежать впереди паровоза, вполне может и оказаться так, что основное время тратится не на парсинг, а на скачивание страниц. Например, хорошо ускоряет процесс передача (и обработка) gzip в Accept-Encoding, обработка Last-Modified тоже полезна etc.
    – user6550
    14 апр 2013 в 17:25
  • @klopp, вполне вероятно. Мне это тоже немного странно. Но без профайлера (или ручного выяснения временных интервалов), лучше ничего сказать нельзя.
    – khaos
    14 апр 2013 в 22:21

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.