0

Есть сайт, рядом с ним лежит скрипт, который через cron запускается раз в 4 минуты и отправляет ~400 запросов.

Скрипт работал хорошо дня 2. Потом пришлось переустановить на VDS OS.

И если запускать вручную, стала появляться ошибка (где-то на середине загрузки скрипта):

504 Gateway Time-out
nginx

Что посоветуете делать?

set_time_limit(0);
include '../config.php';

function get_proxy() {
    $i=0;
    while($i<1000){
        $prox_get = mysql_query("SELECT * FROM proxy_list ORDER BY RAND() LIMIT 1");
        $prox_check = mysql_fetch_assoc($prox_get);
        $proxy = $prox_check['proxy'];
        $url = "https://www.google.ru/";
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL,$url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.1) Gecko/2008070208');
        curl_setopt($ch, CURLOPT_TIMEOUT, 4);
        curl_setopt($ch, CURLOPT_PROXY, "$proxy");
        $ss=curl_exec($ch);
        curl_close($ch);
        if(!empty($ss)) {
            break;
        }
        $i++;
    }
    return $proxy;
}

function send_req_post($url,$post,$proxy){
    try{
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL,$url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.1) Gecko/2008070208');
        curl_setopt($ch, CURLOPT_TIMEOUT, 4);
        curl_setopt($ch, CURLOPT_PROXY, "$proxy");
        curl_setopt($ch, CURLOPT_POST, true);
        curl_setopt($ch, CURLOPT_POSTFIELDS, "$post");
        $ss=curl_exec($ch);
        curl_close($ch);
        return $ss;
    }
    catch(Exception $ex)
    {
        return "";
    }
}
$proxy = get_proxy();
$qu = mysql_query("SELECT * FROM  `bot`  WHERE `job`='1'");
while ($_ensh = mysql_fetch_assoc($qu)) {

    $game = send_req_post('https://game.ru/req.php','action=get_user&auth='.$_ensh['auth_user'].'&rand='.lcg_value(),$proxy);
}
8
  • Если вы его запускаете по крону, то при чем тут вообще нгинкс?
    – etki
    6 окт 2014 в 18:24
  • UPD Если запускать через крон, то опять же делает половину, и появляется белая страница. А если в ручную открыть, то 504 ошибка.
    – Vlmake
    6 окт 2014 в 18:35
  • @Vlmake, вы что, по крону запускаете http-запрос?
    – etki
    6 окт 2014 в 18:48
  • Да. ! ! ! !
    – Vlmake
    7 окт 2014 в 12:36
  • @Vlmake вот запускайте этот же скрипт, но как /usr/bin/php путь-к-скрипту
    – etki
    7 окт 2014 в 15:57

1 ответ 1

1

Убери SQL запрос из цикла в функции get_proxy. У тебя при каждом запуске цикла из таблицы берутся все поля всех строк, сортируются и потом берется первая строка из полученных результатов. И все это повторяется 1000 раз. Вынеси запрос из цикла, чтобы снизить нагрузку на БД.

6
  • Снизил, всё равно 504
    – Vlmake
    7 окт 2014 в 12:36
  • Сделай отладку с выводом всех переменных скрипта и потребляемой памяти. Поймешь, на каком месте скрипт падает. Вообще, 504 ошибка говорит о том, что сервер не может в отведенное время выполнить запрос пользователя. Надо или увеличивать время в настройках сервера или снижать время исполнения скрипта путем, например, разбиения на более мелкие.
    – Get
    7 окт 2014 в 12:53
  • Время работы скрипта в php.ini я поставил 0 А скрипт вылетает на $game = send_req_post('game.ru/…);
    – Vlmake
    7 окт 2014 в 13:45
  • А в $qu много попадает из БД? Одиночным вызовом функция send_req_post выполняется нормально? За сколько времени?
    – Get
    7 окт 2014 в 14:25
  • В qu попадает 200 данных из бд, Да нормально, время зависит от прокси, но если запрос с проксей за 2 секунды не отвечает, то запрос отпадает.
    – Vlmake
    7 окт 2014 в 16:39

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.