0

Предположим, есть скрипт на PHP, выполняющий большой объем работы (например, парсер), скажем, в течение нескольких часов. При этом на хостинге есть определенные ограничения, например max_execution_time выставлено в 600, и повысить нельзя. Интересуют способы реализации, которые позволят обойти ограничение по времени.

  1. Есть свой велосипед, который отправляет AJAX запросы, а скрипт обрабатывает только часть данных (например, парсит только 10 страниц). За счет использования js можно всякие прогресс-бары докручивать. Интересует, есть ли какие-то готовые решения подобной проблемы или примеры реализации

  2. А если нужно скрипт по cron-у запускать, то вариант с js уже не пойдет...

В общем, какие есть варианты? Есть готовые примеры, библиотеки?

2
  • 2
    Решать такие задачи с использованием php это очень печально. Варианты: очереди сообщений, (псевдо)многопоточное выполнение кода в php, выкинуть php и все переписать на perl/python/c/c++/java/... 6 ноя 2015 в 19:45
  • Постарайтесь писать более развернутые вопросы. Поясните, в чем именно вы видите проблему, как её воспроизвести, что вы хотите получить в результате и т. д. 10 ноя 2015 в 13:07

2 ответа 2

1

Оставаясь в рамках условий, единственный вариант – бить большую задачу на много мелких. Раз в 5 минут кроном запускать «рабочий» процесс, который посмотрит, не работает ли ещё его предыдущий собрат, и если горит зелёный свет, то начнёт работу: «так, что тут у нас на очереди?» – и выполнит очередной маленький кусок работы.

Крон запускает задачи, самое частое, раз в 5 минут. Сложность оптимизации – минимизировать время простоя. Приблизиться по времени выполнения к 5 (10, 15, .. 5*i) минутам, но не превысить их, чтобы следующий запущенный скрипт сразу увидел зелёный свет.

Уточните возможности хостинга – может, получится запускать несколько «рабочих» параллельно. Тогда придётся продумать параллелизм. Вообще хостинги с описанными ограничениями, часто ещё и ограничивают число процессов и память, поэтому особенно там не разгуляешься. На hc.ru ещё можно было как-то оптимизировать – выключить веб-сервер, или заменить apache на nginx. Но это всё довольно ограниченно.

Прогресс можно сообщать, обновляя файл на диске или запись в БД. А веб-клиент пусть просто поллит ajax'ом раз в секунду скрипт, который этот прогресс ему сообщит.

Если выйти за рамки – то возьмите уже собственный (виртуальный) сервер за несколько баксов в месяц, и гоняйте его по полной. Напр. на DigitalOcean минимальная коробка стоит $5 в месяц. По этой моей реф. ссылке вы получите на свой счёт сразу десять – хватит на два месяца погонять, попробовать.

-1

Тоже криво, но можно через socket или file_get_contents пустить скрипт в рекурсию.

1
  • Постарайтесь писать более развернутые ответы. Поясните, на чем основано ваше утверждение? 10 ноя 2015 в 13:01

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.