1

Доброго времени суток! Нужно забрать кое-какие данные с сайта, но выдает ошибку:

Warning: file_get_contents(http://whois.domaintools.com/195.90.131.231) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 403 Forbidden

страницу пытаюсь загрузить через simple_html_dom:

$site = file_get_html("http://whois.domaintools.com/$ip");

как мне решить эту проблему?

3
  • Попробуйте получить тело страницы при помощи socket и потом уже передать в simple_dom_html, в сокет пишите заголовки какого-нибудь реального браузера
    – ReinRaus
    13 апр 2013 в 13:55
  • 1
    я пытался открыть через curl, но результат тот же >$ch = curl_init(); > >curl_setopt($ch,CURLOPT_URL,"whois.domaintools.com/$ip"); > >curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 >(Windows NT 6.1; WOW64; rv:20.0) Gecko/20100101 Firefox/20.0'); > >curl_setopt($ch,CURLOPT_REFERER,"whois.domaintools.com/$ip");> > >curl_exec($ch); > >curl_close($ch);
    – woland
    13 апр 2013 в 14:02
  • спасибо @ReinRaus - ваш скрипт мне все-таки помог
    – woland
    13 апр 2013 в 16:17

2 ответа 2

2

Получите. Распишитесь.

<pre><?
$headers="Host: whois.domaintools.com\r\nAccept: */*\r\nAccept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4\r\nAccept-Charset: windows-1251,utf-8;q=0.7,*;q=0.3\r\nCache-Control: max-age=0\r\nAccept-Encoding: gzip,deflate,sdch\r\nUser-Agent: Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.11 (KHTML, like Gecko) Ubuntu/11.10 Chromium/17.0.963.79 Chrome/17.0.963.79 Safari/535.11\r\n";
$sock=fsockopen('whois.domaintools.com', 80);
$query="GET /195.90.131.231 HTTP/1.0\r\n".$headers."\r\n\r\n";
fwrite($sock, $query);
$res="";
while (!feof($sock))
    $res.=fread($sock, 2048);
fclose($sock);
$sp=explode("\r\n\r\n", $res);
echo htmlspecialchars(gunzip($sp[1]))."\r\n";

function gunzip($zipped) {
      $offset = 0;
      if (substr($zipped,0,2) == "\x1f\x8b")
         $offset = 2;
      if (substr($zipped,$offset,1) == "\x08")  {
         return gzinflate(substr($zipped, $offset + 8));
      }
      return "Unknown Format";
}  
?></pre>

CURL и file_get_contents передают заголовки, которые в юзерагенте содержат PHP, а сайт видимо из-за этого юзерагента возвращает 403.

9
  • Да-да, для кого API писано... Или я уже придираюсь?
    – user6550
    13 апр 2013 в 14:22
  • @klopp, ну автор хотел выдернуть текст из HTML- я ему дал пример как получить HTML, а то что он пошел неправильным путем- это его проблема. Вы подсказали ему правильный путь, а я помог пройти по неправильному :)
    – ReinRaus
    13 апр 2013 в 14:29
  • Ну, если подумать - чем больше кривоходящих, тем больше у нас зарплата :)
    – user6550
    13 апр 2013 в 14:31
  • результат тот же
    – woland
    13 апр 2013 в 14:35
  • если вы сейчас откроете пример, увидите там сообщение: >Thank you for using the DomainTools for your domain research. > To protect >domain registrants we limit the number of anonymous > whois lookups >that are allowed. We wish that you will continue > using our >service for domain information but ask that you > create and >log into a DomainTools account before doing > any more >lookups.
    – woland
    13 апр 2013 в 14:58
0

Для начала обзаведитесь первой утилитой каждого пауковода: wget. Запустите, и увидите:

wget -S "http://whois.domaintools.com/195.90.131.231"
--17:54:15--  http://whois.domaintools.com/195.90.131.231
           => `195.90.131.231'
Resolving whois.domaintools.com... done.
Connecting to whois.domaintools.com[199.93.60.254]:80... connected.
HTTP request sent, awaiting response...
 1 HTTP/1.1 403 Forbidden
 2 Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
 3 Pragma: no-cache
 4 Set-Cookie: csrftoken=a8346261cd9fdd81fa9af22a80be95ca; path=/; domain=.domaintools.com
 5 Set-Cookie: dtsession=ak67m6mt66fn012ppi629vmdc3; expires=Tue, 11-Apr-2023 13:54:15 GMT; path=/; domain=.domaintools.com
 6 Content-Type: text/html
 7 Expires: Thu, 19 Nov 1981 08:52:00 GMT
 8 Server: lighttpd/1.4.30
 9 Date: Sat, 13 Apr 2013 13:54:16 GMT
10 Connection: close

17:54:16 ERROR 403: Forbidden.

Подумайте.

А лучше - не маяться дурью, а прочитать про API domaintools.com, там всё очень подробно расписано. В качестве домашнего упражнения предлагаю найти ссылку на документацию на их сайте. Если у вас это займёт больше двух кликов и 10 секунд - пичалька...

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.