В последние дни вы завалили сайт вопросами, говорящими о том, что вы
пока недостаточно хорошо понимаете основы JS и Web API, а уже
пытаетесь работать со сложными инструментами типа puppeteer.
Алекс, я поддерживаю ответ, который дал вам vsemozhebuty. Увы, вам не хватает знания технологий, ваш технический кругозор узок и, как следствие, вы решаете задачу трудно, долго и плохо.
Решив обосновать этот тезис я взглянул на ваш код, на сайт https://etfdb.com/ и на попытки извлечь данные из тела страницы с помощью puppeteer.
Страница https://etfdb.com/screener/#page=1&structure=ETF÷nd_frequency=Monthly
и пагинация на ней работает не замысловато - каждая "страница" таблицы делает ajax запрос на сервер, получает данные и от них рисует таблицу.
Есть ajaх-запрос, есть данные, нет никакого смысла прыгать по dom-элементам и парсить разметку!
И то, что вы выбрали именно такой подход, говорит нам, тем, кто сопровождает ваши вопросы на ru.so, об узости вашего технического кругозора...
Изучите систематически язык и Web API, после этого прочтите
документацию по инструментам, которые вам нужны. Другого пути нет.
Пытаться громоздить фрагмент кода на фрагмент,
заимствуя их из чужих примеров и не понимая их сути, — это
бессмысленное блуждание в потёмках.
Спасибо, что дочитали досюда.
С другой стороны - я ценю ваши настойчивые попытки разобраться! Они поверхностные, но настойчивые, это стоит решения.
Смотрите, сценарий прост:
Создаём браузер
Делаем логин вводом с клавиатуры, как вам советовали в другом
ответе
При запросе страницы логина поставим waitUntil: 'networkidle2'
, чтобы дождаться загрузки всех скриптов. Возможно это лишнее и форма сабмитися классически, а возможно запрос на аутентификацию выполняется js и тогда скрипты нужны. Я не стал разбираться, но ты можешь посмотреть!
В evaluate (т.е. внутри запущенного браузера) выполняем
несколько ajax-запросов, получающих с сервера данные. API возвращает мета-информацию о номере страницы, количестве записей на странице, и количестве страниц. Знать количество страниц очень удобно так как мы можем сделать ровно такое количество запросов!
И возвращаем всю коллекцию в место, вызвавшее evaluate.
Закрываем браузер
Работаем с данными
Протестировано Node.js v14.13.0, puppeteer 5.3.1.
const puppeteer = require('puppeteer');
const { promisify } = require('util');
const credentials = {
login: 'alexyavorskiy2005-0711@mail.ru',
password: 'alex07112005'
};
(async () => {
try {
await spy();
process.exit(0);
} catch (err) {
console.error(err);
process.exit(1);
}
})();
async function spy() {
const browser = await puppeteer.launch({
headless: true
});
const page = await browser.newPage();
await page.goto(
'https://etfdb.com/members/login/',
{ waitUntil: 'networkidle2', timeout: 0 }
);
await page.click('#user_login');
await page.keyboard.type(credentials.login);
await page.click('#password');
await page.keyboard.type(credentials.password);
await page.click('#login-button');
await promisify(setTimeout)(2000);
const etfData = await page.evaluate(async () => {
const sleep = (timeout = 500) => new Promise((r) => setTimeout(r, timeout));
let resultData = [];
const fetchBody = {
structure: ['ETF'],
dividend_frequency: ['Monthly'],
only: ['meta', 'data', 'count']
};
const fetchOptions = {
method: 'post',
headers: {
'Content-Type': 'application/json',
'Access-Control-Allow-Origin': '*',
'Access-Control-Allow-Methods': 'GET, POST, PUT, DELETE, OPTIONS'
},
};
for (let i = 1, curr = 1; i<= curr; i++) {
try {
fetchBody.page = i;
const res = await fetch(
'https://etfdb.com/api/screener/',
{ ...fetchOptions, body: JSON.stringify(fetchBody) }
);
const json = await res.json();
if (json) {
if (json.data && Array.isArray(json.data)) {
resultData = resultData.concat(json.data);
}
if (json.meta && 'total_pages' in json.meta && +json.meta.total_pages > 0) {
curr = +json.meta.total_pages;
}
}
await sleep(); // на всякий случай, вдруг там ограничение по количеству запросов
} catch (err) {
console.error(err);
}
}
return resultData;
});
await browser.close();
const filteringOverallRating = ['A+', 'A', 'A-', 'B+'];
const etfABData = etfData.filter(({ overall_rating }) => filteringOverallRating.includes(overall_rating));
console.log(JSON.stringify(etfABData, null, 2));
console.log(`total items = ${etfData.length}, filtered items = ${etfABData.length}`);
return etfABData;
}
В консоли:
[
{
"symbol": {
"type": "link",
"text": "BSAE",
"url": "/etf/BSAE/"
},
"name": {
"type": "link",
"text": "Invesco BulletShares 2021 USD Emerging Markets Debt ETF",
"url": "/etf/BSAE/"
},
"mobile_title": "BSAE - Invesco BulletShares 2021 USD Emerging Markets Debt ETF",
"price": "$25.37",
"assets": "$10.12",
"average_volume": "2,508",
"ytd": "2.32%",
"overall_rating": "A+",
"asset_class": "Bond"
},
{
"symbol": {
"type": "link",
"text": "QDIV",
"url": "/etf/QDIV/"
},
"name": {
"type": "link",
"text": "Global X S&P 500 Quality Dividend ETF",
"url": "/etf/QDIV/"
},
"mobile_title": "QDIV - Global X S&P 500 Quality Dividend ETF",
"price": "$23.40",
"assets": "$5.71",
"average_volume": "809",
"ytd": "-11.17%",
"overall_rating": "B+",
"asset_class": "Equity"
},
...
...
...
]
total items = 415, filtered items = 163