2

Если использовать Wget через консоль просто, то всё скачивается правильно, а когда через скрипт в PHP хочу это сделать, то некоторые файлы не докачиваются. Например, некоторые картинки, звуки. Тут я в цикле обхожу все ссылки, и через функцию exec качаю сайты:

for($i = 0; $i < count($arr); $i++) {
      $cmd = "wget -p -r -e robots=off -l 0 " . $arr[$i];
      exec($cmd);
}

И во всех этих сайтах что-то по-любому не докачивается, в одном звуки, в другом картинки. Выставлял user-agent, да и вообще если эту команду ввести в командной строке, то всё скачается нормально. Может в настройках Apache, PHP надо поменять что-то?

2 ответа 2

1

Скорее всего, у вас банально заканчивается время на выполнение php-скрипта, устанавливаемое через set_time_limit(). Увеличьте его согласно этому мануалу: http://ru.php.net/manual/ru/function.set-time-limit.php

Если же это было сделано или не помогает, то стоит сделать профилирование, дабы посмотреть, сколько памяти и где ест как сам php, так и запускаемый им wget через exec() - в целом, последний можно запускать в области самого скрипта через pcntl_exec(), что подразумевает запуск через просто exec в области, отличной от области скрипта, но тем не менее - ведь если у вас работает одновременно и веб-сервер с php, и wget, то памяти съедается больше, чем если вы проверяете просто запуская wget.

4
  • Я изначально сделал ini_set('max_execution_time', 0); Так дело в том, что оно по окончанию выдает мне все эти три сайта, но ни один до конца не закачан. Если бы закончилось время, то явно мне бы не выдало три сайта
    – idriverx
    14 фев 2017 в 23:57
  • @idriverx Хм, логично, правда тогда стоило бы упомянуть про эту настройку еще в самом вопросе. Тогда я бы проверил объем памяти, который стоит в различных переменных php, а также в принципе сколько съедается памяти при работе скрипта/wget (кто его знает, сколько ему там памяти выделяется через exec, возможно, что ограничено памятью, выделяемой самому php), в общем, сделал бы профилирование всему, что работает. 15 фев 2017 в 0:22
  • блин, зашел в Apache-отладку, посмотрел логи wget, я ожидал может там будет причина почему не закачалось, error может какие то, а там даже этих файлов нет, будто бы их даже нет на том сайте. ни одного упоминания об этих файлах просто нет, не представляю с чем это может быть связано. юзал уже и функции exec(), и passthru(), и shell_exec() на крайняк. Ничего не вышло (
    – idriverx
    15 фев 2017 в 3:16
  • @idriverx возможно это из-за того, что они все в отдельной области запускают команду, а не в области скрипта? Попробуй pcntl_exec(), о котором я в ответе обсуждаемом пишу 15 фев 2017 в 7:42
0

Фух, додумался. Решил удалить wget из папки OpenServer (была старая версия) и кинул вместо него, wget более новый. Всё заработало как часики :)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.