1

Доброго времени суток. Написал небольшой скрипт для парсинга изображений с сайта atdc.ru. Скрипт получился достаточно громоздким по времени выполнения. Проблема в том, что после того как скрипт вроде закончил работу, не все изображения спарсились(154 всего из 1000+) и ошибок нет. Нужна подсказка, что может быть?

<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
</head>
<body>
<?php
include('parse/simple_html_dom.php');
$model = array(1=>"Cadillac",2=>"Changan",3=>"Chery",4=>"Chevrolet",5=>"China%20Motors",6=>"Chrysler",7=>"Citroen",8=>"Daewoo",9=>"Daihatsu",10=>"Datson",11=>"Dodge",12=>"Dongfeng",13=>"Eagle",14=>"Emgrand",15=>"FAW",16=>"Ferrari",17=>"Fiat",18=>"Ford",19=>"Freightliner",20=>"Fuso",21=>"Geely",22=>"Geo",23=>"Heavy%20Trucks",24=>"Hino",25=>"Holden",26=>"Honda",27=>"Hongqi",28=>"Hyundai",29=>"Infiniti",30=>"Isuzu",31=>"Jaguar",32=>"Jeep",33=>"Jensen",34=>"Jianghua%20(JAC)",35=>"Jinbei",36=>"Kia",37=>"Lada",38=>"Lancia",39=>"Land%20Rover",40=>"Landwind",41=>"Lexus",42=>"Liebao",43=>"Lifan",44=>"Lincoln",45=>"Lotus",46=>"LTI",47=>"Luxgen",48=>"Mahindra",49=>"Maruti",50=>"Maserati",51=>"Maybach",52=>"Mazda",53=>"Mercedes",54=>"Mercury",55=>"Metrocab%20Taxi",56=>"MG",57=>"Mini",58=>"Mitsubishi",59=>"Nissan",60=>"Oldsmobile",61=>"Opel",62=>"Perodua",63=>"Peugeot",64=>"Plymouth",65=>"Pontiac",66=>"Porsche",67=>"Proton",68=>"Renault",69=>"Roewe",70=>"Rolls%20Royce",71=>"Rover",72=>"Saab",73=>"Samsung",74=>"Saturn",75=>"Scion",76=>"Seat",77=>"Skoda",78=>"Ssyang%20yong",79=>"Subaru",80=>"Suzuki",81=>"Talbot",82=>"Toyota",83=>"Vauxhall",84=>"Volkswagen",85=>"Volvo",86=>"ZAZ",87=>"Zhonghua");
for($n=1;$n<=87;$n++){
    $html = file_get_html('http://atdc.ru/catalog/make/'.$model[$n].'');

    $i=0;

    foreach($html->find('tr') as $e){
        $i++;
    }
    $i = $i-1;
    $m=0;
    $d=6;
    $s=5;
    $g=1;
    for($k=1;$k<=$i;$k++){
        $scheme = $html->find("td", $d);
        if(stristr($scheme->plaintext,'Схема')===FALSE){

        }else{
            /* echo $scheme; */
            $dataid = $scheme->children(0)->getAllAttributes();
            /* echo $dataid['data-id']; */
            $mdd = $model[$n].'/'.$html->find("td", $m)->innertext."/".$html->find("td", $s)->plaintext;
            $str1 = str_replace(" /","/",$mdd);
            $str2 = str_replace("%20"," ",$str1);
            $str3 = str_replace('"',"",$str2);
            $mdd1 = str_replace("/ ","/",$str3);
            $img = file_get_html('http://atdc.ru/catalog/schema/'.$dataid['data-id'].'');
            /* var_dump($img->find("a")); */
            for($b=0;$g<=2;$b++){
                /* echo $img->find('a',$b)->href.'<br>'; */
                $image = 'http://atdc.ru'.$img->find('a',$b)->href;
                echo $image;
                $ch = curl_init($image);
                $fp = fopen('D:\xampp\htdocs\model/'.$mdd1.'/'.$g.'.jpg', 'wb');
                curl_setopt($ch, CURLOPT_FILE, $fp);
                curl_setopt($ch, CURLOPT_HEADER, 0);
                curl_exec($ch);
                curl_close($ch);
                fclose($fp);
                $g++;
            }
        }
        $s=$s+7;
        $m=$m+7;
        $d=$d+7;
    }
} 
?>
</body>
</html>

2 ответа 2

0

Парсинг большого количества страниц лучше делать порциями, чтобы обработка каждой порции укладывалось в отведённое скрипту время и не перегружало сервер.

simple_html_dom у меня почему то не заработал, потому стало интересно сделать регулярками.

<?php
set_time_limit(300);

$models = [
    "Cadillac",
    "Changan",
    "Chery",
    "Chevrolet",
    "China%20Motors",
    "Chrysler",
    "Citroen",
    "Daewoo",
    "Daihatsu",
    "Datson",
    "Dodge",
    "Dongfeng",
    "Eagle",
    "Emgrand",
    "FAW",
    "Ferrari",
    "Fiat",
    "Ford",
    "Freightliner",
    "Fuso",
    "Geely",
    "Geo",
    "Heavy%20Trucks",
    "Hino",
    "Holden",
    "Honda",
    "Hongqi",
    "Hyundai",
    "Infiniti",
    "Isuzu",
    "Jaguar",
    "Jeep",
    "Jensen",
    "Jianghua%20(JAC)",
    "Jinbei",
    "Kia",
    "Lada",
    "Lancia",
    "Land%20Rover",
    "Landwind",
    "Lexus",
    "Liebao",
    "Lifan",
    "Lincoln",
    "Lotus",
    "LTI",
    "Luxgen",
    "Mahindra",
    "Maruti",
    "Maserati",
    "Maybach",
    "Mazda",
    "Mercedes",
    "Mercury",
    "Metrocab%20Taxi",
    "MG",
    "Mini",
    "Mitsubishi",
    "Nissan",
    "Oldsmobile",
    "Opel",
    "Perodua",
    "Peugeot",
    "Plymouth",
    "Pontiac",
    "Porsche",
    "Proton",
    "Renault",
    "Roewe",
    "Rolls%20Royce",
    "Rover",
    "Saab",
    "Samsung",
    "Saturn",
    "Scion",
    "Seat",
    "Skoda",
    "Ssyang%20yong",
    "Subaru",
    "Suzuki",
    "Talbot",
    "Toyota",
    "Vauxhall",
    "Volkswagen",
    "Volvo",
    "ZAZ",
    "Zhonghua",
];

$m = isset($_GET['m']) ? (int)$_GET['m'] : 0;

if (isset($models[$m]))
{
    $model = $models[$m];

    $url = 'http://atdc.ru/catalog/make/'.$model;

    echo $url;

    $html = file_get_contents($url);
    if (strlen($html))
    {
        preg_match_all('#<tr class="row.*">\s*<td>([^>]+)</td>.+<a href="/catalog/transmission[^"]*">([^<]+)</a>.+<a[^>]*class="view-schema schema" data-id="(\d+)">Схема</a>.+</tr>#sU', $html, $rows);
        if (isset($rows[1]) && is_array($rows[1]) && count($rows[1]))
        {
            foreach ($rows[1] as $pos => $row)
            {
                $url = 'http://atdc.ru/catalog/schema/'.$rows[3][$pos];
                $scheme = file_get_contents($url);
                if (strlen($scheme))
                {
                    preg_match_all('#<a[^>]*class="thumb schema" href="([^"]+)"[^>]+>.+</a>#', $scheme, $images);
                    if (isset($images[1]) && is_array($images[1]) && count($images[1]))
                    {
                        foreach($images[1] as $num => $image)
                        {
                            $url = 'http://atdc.ru'.$image;
                            $dir = str_replace('%20', ' ', 'model/'.$model.'/'.$rows[1][$pos].'/'.$rows[2][$pos]);
                            if(!is_dir($dir))
                            {
                                mkdir($dir, 0777, true);
                            }
                            $fname = $dir.'/'.($num + 1).'.jpg';

                            $img = file_get_contents($url);
                            if ($img)
                            {
                                file_put_contents($fname, $img);
                            }
                        }
                    }
                }
            }
        }
    }

    $m++;
    echo '<meta http-equiv="refresh" content="0; url=?m='.$m.'">';
}
else
{
    echo 'Done!';
}
0

Нашел решение проблемы заменив это:

    for($b=0;$g<=2;$b++){
        /* echo $img->find('a',$b)->href.'<br>'; */
        $image = 'http://atdc.ru'.$img->find('a',$b)->href;
        echo $image;
        $ch = curl_init($image);
        $fp = fopen('D:\xampp\htdocs\model/'.$mdd1.'/'.$g.'.jpg', 'wb');
        curl_setopt($ch, CURLOPT_FILE, $fp);
        curl_setopt($ch, CURLOPT_HEADER, 0);
        curl_exec($ch);
        curl_close($ch);
        fclose($fp);
        $g++;
    }

На это:

        $image = 'http://atdc.ru'.$img->find('a',0)->href;
        $image1 = 'http://atdc.ru'.$img->find('a',1)->href;
        $ch = curl_init($image);
        $fp = fopen('D:\xampp\htdocs\model/'.$mdd1.'/1.jpg', 'wb');
        curl_setopt($ch, CURLOPT_FILE, $fp);
        curl_setopt($ch, CURLOPT_HEADER, 0);
        curl_exec($ch);
        curl_close($ch);
        fclose($fp);
        $ch1 = curl_init($image1);
        $fp1 = fopen('D:\xampp\htdocs\model/'.$mdd1.'/2.jpg', 'wb');
        curl_setopt($ch1, CURLOPT_FILE, $fp1);
        curl_setopt($ch1, CURLOPT_HEADER, 0);
        curl_exec($ch1);
        curl_close($ch1);
        fclose($fp1);

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.