1

Использую puppeteer для того, чтобы получить данные о работе магазина. Поиск осуществляю по селекторам p.shop-page-content__text_large, span.shop-list-item__address но с талкнулся с такой проблемой, что на странице может присутсвовать только один из них. Проблему попытался решить ниже приведённым способом, но так не работает. Подскажите, как это можно исправить?

const puppeteer = require('puppeteer');

const browser = await puppeteer.launch({
    headless: false,
    slowMo: 150,
});

const cities = [{'CITY': 'Town1', 'LINK': '/shops/town1/'}, {'CITY': 'Town2', 'LINK': '/shops/town2/'}];

async function getData(page, selector) {
    return await page.$$eval(selector, info => info.map((data) => {
        let str     = data.textContent.trim(),
            from    = str.search(','),
            to      = str.length;
    
        return {
            'COUNTRY': 'Ru',
            'STREET' : str.substring(from, to)
        }
    }));
}

const result = [];

for (let val of cities) {
    console.log(val.LINK, val.CITY);

    const page = await browser.newPage();
    await page.goto('https://www.example-site.ru' + val.LINK);

    data = await page.waitForFunction('.shop-page-content').then(async() => {
        console.log('ok');
        return await getData(page, 'p.shop-page-content__text_large');
    }).catch(async (e) => {
        console.log('fail');
        
        await page.waitForSelector('.shops-info__section');
        return await getData(page, 'span.shop-list-item__address');
        // result.push(data);
    });

    result.push(data);
    await browser.close();
}

console.log(result);
0

2 ответа 2

0

Если я правильно понял проблему, попробуйте как-то так:

let selector = `p.shop-page-content__text_large`
let elems = page.$$(selector)
if (!elems.length) {
selector = `span.shop-list-item__address`
elems = page.$$(selector)
}
elems.forEach(()=>{
... some code
})
3
  • Не, таким образом не работает. Стандартный forEach выдаёт ошибку elems.forEach((elem) => { ^ TypeError: elems.forEach is not a function at C:\Users\ch\server\shop.js:52:13 at runNextTicks (node:internal/process/task_queues:61:5) at listOnTimeout (node:internal/timers:528:9) at processTimers (node:internal/timers:502:7) 15 фев 2022 в 14:45
  • Ну, через for of
    – Dmytro
    15 фев 2022 в 16:12
  • хм... странно console.log(typeof elems); object , а потом я пишу for (const elem of elems) { C:\Users\ch\server\shop\parser.js:56 for (const elem of elems) { ^ TypeError: elems is not iterable at C:\Users\ch\server\shop\parser.js:56:26 at runNextTicks (node:internal/process/task_queues:61:5) at listOnTimeout (node:internal/timers:528:9) at processTimers (node:internal/timers:502:7) 15 фев 2022 в 17:47
0

В итоговой форме получилось вот так:

const browser = await puppeteer.launch({
    headless: false,
    slowMo: 150,
});
const cities = [{'CITY': 'Town1', 'LINK': '/shops/town1/'}, {'CITY': 'Town2', 'LINK': '/shops/town2/'}];
const page   = await browser.newPage();
const result = [];

for (let val of cities) {
    await page.goto('https://www.example-site.ru' + val.LINK);

    const list = await page.evaluate(() => {
        const data     = []; 
        const elements = document.querySelectorAll('p.shop-page-content__text_large').length 
                        ? document.querySelectorAll('p.shop-page-content__text_large')
                        : document.querySelectorAll('span.shop-list-item__address'); 

        for (const element of elements) {
            data.push(element.innerText);
        }

        return data;
    });

    result.push({
        link: val.LINK,
        city: val.CITY,
        list
    })
}

await browser.close();

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.