2

Доброго времени суток!

У меня возникла проблема, которая по сей день не возникала. В общем я пытаюсь получить данные( контент главной страницы ) с помощью cURL с сайта http://fx-trend.com/ таким вот образом:

$url="http://fx-trend.com/";
$ch = curl_init($url);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; MyIE2; .NET CLR 1.1.4322)"); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_TIMEOUT, 20);

echo curl_exec($ch);

curl_close($ch);

Но это не работает....что я только не перепробовал...ничего не получалось - белый лист. Помогите мне пожалуйста! Спасибо =)


UPD: попробовал получить контент тупо с помощью PHP, удивился:

Warning: file_get_contents(http://fx-trend.com/) [function.file-get-contents]: failed to open stream: Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера. in ...

Также пинговал сайт из виндовой консоли - результат то же: превышен интервал! Что это такое???

3
  • а ошибки какие? Что не работает?
    – KryDos
    20 дек 2012 в 17:12
  • Обновил вопрос.
    – LOLPADT
    20 дек 2012 в 17:16
  • Неужели никто не поможет.......
    – LOLPADT
    20 дек 2012 в 18:24

4 ответа 4

3

Пинг указанного сайта(хоста) действительно не проходит. Скорее всего потому, что системные администраторы сознательно запретили ECHO-ответы для ICMP-запросов, которые и отсылает утилита ping. Это делается довольно просто подкруткой некоторых ядерных параметров(Linux, FreeBSD).

Использовать curl не получается потому, что на данном сайте установлена какая-то хитрая защита от подобных утилит, при включении отладки видно, что там происходит несколько редиректов, установка кукисов, а в конце - редирект на URL

http://protection.dragonara.net/cookies.html?backurl=http://fx-trend.com/?drgn=3

который и вызывает отлуп по таймауту.

Как обойти эту защиту - я не знаю, это уже другая проблема, которую нужно исследовать отдельно. Для диагностики использовалась консольная версия curl с командной строкой вида:

curl -vv -L  http://fx-trend.com/

Кстати, консольная утилита wget смогла у меня забрать index.html из корня + другие страницы данного сайта(например http://fx-trend.com/news/afm_181212/).

wget http://fx-trend.com/

Как вариант, можно использовать её, породив процесс, затем забрав данные из файла или пайпа.

0
2

@LOLPADT пинги закрыты просто.

На сайте, видимо, хитрая система аутентификации. Сначала, видимо, сайт проверяет наличие сессии, если есть - дает доступ. Если нет - то происходит редирект на страницу http://fx-trend.com/?drgn=1

Дальше, по всей видимости, происходит запись как на клиенте и последующая их проверка на сайте.

4
  • Да, попробовал из никсовой консоли "покурлить", получая предварительно заголовки - действительно редирект! Меня эта система защиты одновременно и вчечатляет и огорчает( ведь данные я вытянуть не могу... ). Спасибо вам!
    – LOLPADT
    21 дек 2012 в 11:16
  • Интересно так же было бы узнать, что бы вы предприняли в этом случае? Если, например, надо "позарез" получать контент страницы такого вот закрытого извне сайта из PHP.
    – LOLPADT
    21 дек 2012 в 11:17
  • @LOLPADT что-то что-то? Сделал бы так, чтобы скрипт получал эту страницу :-)
    – lampa
    21 дек 2012 в 11:19
  • Ну и как же?
    – LOLPADT
    21 дек 2012 в 14:11
0

Возможно проблема в cookies (вернее в том что Вы не включаете их в curl) Попробуйте так: curl_setopt($ch, CURLOPT_COOKIEJAR, "cookies.txt");

0

wget http://fx-trend.com прекрасно работает. Вот логи процесса получения:

wget http://fx-trend.com --2012-12-22 10:19:09-- http://fx-trend.com/ Resolving fx-trend.com... 91.205.41.168 Connecting to fx-trend.com|91.205.41.168|:80... connected. HTTP request sent, awaiting response... 302 Moved Temporarily Location: http://fx-trend.com/?drgn=1 [following] --2012-12-22 10:19:11-- http://fx-trend.com/?drgn=1 Reusing existing connection to fx-trend.com:80. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Saving to: “index.html?drgn=1”

[    <=>                                                                                                              ] 29,138      42.5K/s   in 0.7s

2012-12-22 10:19:12 (42.5 KB/s) - “index.html?drgn=1” saved [29138]

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.