1
 var options = {
    url:  'https://google.com',
    timeout: 1500
    }
    var url = 'https://google.com';
    request(options, function(err, res, body){
  if(err){console.log(err);}
  else{ 
    console.log(body)
}}

У меня недавно появилась проблема, сайт некоторые элементы стал загружать после того как уже загрузилась страница. Например, я захожу на яндекс и элемент новости дозагрузится через секунд 10. Поэтому если спарсить страницу, у меня не будет элемента погоды. Пробовал таймаут, явно не то) помогите)

3
  • Вам надо в консоли браузера поизучать, откуда он грузит новости (скорее всего это ajax-запрос), и загружать то что вам нужно напрямую оттуда
    – Darth
    13 мар 2018 в 8:43
  • По моему опыту, данные основных виджетов (вроде погоды и новостей) приходят в первом же запросе скрин
    – Dan
    13 мар 2018 в 11:01
  • спасибо Darth, да вы правы , загружается отдельно другая страница, нашел ее и теперь все гуд)
    – Jumper
    27 мар 2018 в 20:08

1 ответ 1

0

У меня всё работает. Может быть, я просто не те данные проверяю.

Вот с этим же кодом:

var request = require('request');

var test = {
  run: function() {
    var options = {
      url:  'https://www.yandex.ru',
      timeout: 1500
    }
    request(options, function(err, res, body) {
      if (err) {
        console.log(err);
      } else { 
        console.log(body)
      }
    });
  }
};

У меня получается найти в ответе (то, что в body) и новости, и погоду. Проверял так: одновременно загружал в браузере и скриптом, выделял в браузере текст (заголовок новости или прогноз погоды), искал в строке ответа - всё находится.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.