0

Можно ли как-то спарсить данные, не имитируя работу браузера? Пробовал брать страницу и file_get_contents и через curl. В обоих случаях выводит чё попало.

Вот собственно сервис, я хочу получать от него значение ИКС, подставляя в запрос разные домены https://webmaster.yandex.ru/siteinfo/?host=citilink.ru Что выдает get_contents.

1
  • Поискать готовое API. Возможно, есть официальное. Я нашел только платный вариант. Либо регуляркой достать из текста страницы: {"sqi":35300,"valueType":"numeric","type":"SQI" 9 янв в 14:51

2 ответа 2

0
    <?php
class YandexIks
{
    private static $reference = [
        '..xxxxxx....xxxxxxxxx.xxxxxxxxxxxxx.......xxxx.......xxxxx.....xxxxxxxxxxxxxx.xxxxxxxx..',
        '..xx........xxx.......xxx........xxxxxxxxxxxxxxxxxxxxxx',
        '.........xxxx......xxxxx......xxxxx.....xxxxxx...xxxx.xxxx.xxxx..xxxxxxxx...x.xxxx.....x',
        'x........xxxx.......xxxx...x...xxxx...x...xxxx..xxx..xxxxxxxxxxxxxxxxxxxxxxxx......xxxx.',
        '......xx.......xxxx......xxxxx....xxxx..x...xxxx...x...xxxxxxxxxxxxxxxxxxxxxx.......x...',
        '..........xxxxxxx...xxxxxxxx...xxx...xx...xxx...xx...xxx...xxxxxxxx...xxxxxxx.....xxxx..',
        '....xxxxx....xxxxxxxxx.xxxxxx.xxxxxxxxx...xxxxx.xx...xxxx..xx...xxx...xxxxxxxx....xxxxx.',
        'x..........x.........xx.......xxxx....xxxxxxx..xxxxxx..xxxxxxx....xxxxx......xxx........',
        '......xxxx.xxxxxxxxxxxxxxxxxxxxxxxx..xxx..xxxx..xxx..xxxxxxxxx..xxxxxxxxxxxxx.xxxx.xxxx.',
        '.xxxxx.....xxxxxxx...xxxx.xxx...xxx...xx..xxxx...xx.xxxxxx..xxxxx.xxxxxxxxx...xxxxxxx...',
    ];
    
    /**
    * Получение значения ИКС для указанного домена
    *
    * Данный метод не должен приводить к бану по IP при слишком частых запросов,
    * не выводится капча.
    */
    public static function getValueFromImage($domain) {
        $yaurl = 'https://www.yandex.ru/cycounter?' . $domain;
        $img = @imagecreatefrompng($yaurl);
        
        return $img ? self::parseImg($img) : '-';
    }
    
    private static function parseImg(&$src_img) {
        // где могут размещаться данные по ИКС
        $iks_x = 26;
        $iks_y = 10;
        $iks_w = 56;
        $iks_h = 11;
        
        // сюда вырезается нужная часть изображения
        $dst_img = imagecreatetruecolor($iks_w, $iks_h);
        
        // нужна часть изображения, на которой могут быть цифры
        imagecopy($dst_img, $src_img, 0, 0, $iks_x, $iks_y, $iks_w, $iks_h);
        
        $arr = [];
        for ($i = 0; $i < $iks_w; ++$i) {
            $arr[$i] = '';
            for ($j = 0; $j < $iks_h; ++$j) {
                $arr[$i] .= 8882055 == imagecolorat($dst_img, $i, $j) ? '.' : 'x';
            }
        }
        
        // подчистить пустые ряды
        for ($i = 0; $i < $iks_w; ++$i) {
            if ('...........' == $arr[$i])  unset($arr[$i]);
        }
        
        $iks = '';
        $current_symbol = '';
        $current_len = 0;
        
        foreach ($arr as $v) {
            $current_symbol .= $v;
            $current_len += 11;
            
            if (88 == $current_len) { // все символы имеют ширину 8
                foreach (self::$reference as $num => $symb) {
                    if (similar_text($symb, $current_symbol) > 80) {
                        $iks .= $num;
                        break;
                    }
                }
                $current_symbol = '';
                $current_len = 0;
            } elseif (55 == $current_len) { // кроме 1 — у него ширина 5
                if (similar_text(self::$reference[1], $current_symbol) > 50) {
                    $iks .= 1;
                    $current_symbol = '';
                    $current_len = 0;
                }
            }
        }
        return $iks;
    }
}
echo YandexIks::getValueFromImage('example.com');

Источник: https://a-panov.ru/massovaya-proverka-iks-skript-na-php/

0

Должна помочь простая регулярка (Проверить не могу т.к. был быстро забанен из за повторных обращений):

<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://webmaster.yandex.ru/siteinfo/?host=citilink.ru");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
$output = curl_exec($ch);
curl_close($ch);

preg_match('/<div class="Achievement-SqiNumber">(\d*)\D*(\d*)<\/div>/', $output, $matches);
print($matches[1].$matches[2]);

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.