0

Я делаю запрос на сайт:

request('http://example.com' function (error, response, body) {
  console.error('error:', error);
  console.log('statusCode:', response && response.statusCode);
  console.log('body:' body);
});

который требует чтобы JS был включен. Как включить или имитировать включение JS при запросе? На сколько я понимаю, здесь могут помочь headers, но вот только я не понял как ими пользоваться

10
  • Возможно, вам нужен документ с содержимым, которое генерируется скриптами, тогда вам придётся воспользоваться одной из библиотек, управляющих браузерами или их эмуляциями. Например, github.com/puppeteer/puppeteer 6 июн 2020 в 21:08
  • @vsemozhetbyt Да, я пытаюсь получить содержимое, которое генерируется с помощью скриптов, конкретнее я пытаюсь получить html код страницы в твиттере. Я попробовал вот такой код: const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto('https://twitter.com/Cybersole'); var HTML = await page.content() console.log(HTML); })(); Но он не работает, вернее страница открывается, но в html коде написано, что JS отключён и поэтому html не тот. Не подскажите, почему такое может быть?
    – cookdev
    7 июн 2020 в 2:05
  • Не могу воспроизвести проблему. Да, код страницы всё равно содержит теги noscript с предупреждением об отключённом JavaScript, но их содержит и страница в обычном браузере, просто они не отображаются. Проверьте поиском по коду текст какого-нибудь твита — у меня твиты включены в код. 7 июн 2020 в 7:49
  • @vsemozhetbyt Да, действительно, я добавил небольшую задержку и теперь получаю нормальный html код. Мне нужно проверять, появились ли какие-то изменения на странице. Для этого я так понимаю мне нужен таймер, но вот если в таймер запихнуть код который я написал в первом коментарии, то будет открыватся слишком много браузеров(даже если закрвать с помощью browser.close()), то есть мне нужно разбить тот код, и только часть отвечающую за переход на страницу, её парсинг и закрытие оставить в таймере, но как разбить код, если строчки кода содержат "await"? Или лучше делать проверку по другому?
    – cookdev
    7 июн 2020 в 15:20
  • 1
    Если вам нужны твиты, почему бы не работать с АПИ твитера напрямую? Зачем вам прослойка из браузера? Проанализируйте, какие запросы уходят для получения твитов и делайте такие же запросы со своего сервера. 8 июн 2020 в 4:49

0

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Посмотрите другие вопросы с метками или задайте свой вопрос.