Я делаю запрос на сайт:
request('http://example.com' function (error, response, body) {
console.error('error:', error);
console.log('statusCode:', response && response.statusCode);
console.log('body:' body);
});
который требует чтобы JS был включен. Как включить или имитировать включение JS при запросе? На сколько я понимаю, здесь могут помочь headers, но вот только я не понял как ими пользоваться
const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto('https://twitter.com/Cybersole'); var HTML = await page.content() console.log(HTML); })();
Но он не работает, вернее страница открывается, но в html коде написано, что JS отключён и поэтому html не тот. Не подскажите, почему такое может быть?