1

Всем привет, пытаюсь написать цикл в node js для перебора ссылок из массива и дальнейшей их обработки. Столкнулся с проблемой, вот код:

const axios = require('axios');
const cheerio = require('cheerio');

function getValue(object, key) {
    var result;
    return Object.keys(object).some(function (k) {
        if (k === key) {
            result = { value: object[k] };
            return true;
        }
        if (object[k] && typeof object[k] === 'object' && (result = getValue(object[k], key))) {
            return true;
        }
    }) && result;    
}

var urlList = [];

var parseString = require('xml2js').parseString;
var xml = require('fs').readFileSync('xml/sitemap-10.xml', 'utf8');
parseString(xml, function(err, result) {
    urlList = getValue(result, 'url').value;
});

function getLinks (object, key) {
    for (key in object) {
        return object[key];
    }
}

console.log(getLinks(urlList, 'loc'));

Но получаю только первый элемент в консоль: введите сюда описание изображения

Сам первичный объект выглядит так: введите сюда описание изображения

Хотелось - бы получить массив из элементов-ссылок для дальнейшего перебора парсером.

UPD Добавил push для наполнения массива объектами с ссылками, написал цикл для перебора объектов в массиве для вытаскивания значений в этих объектах, но теперь отказывается запускаться с ошибкой: throw er; // Unhandled 'error' event

Вот код

function getValue(object, key) {
    var result;
    return Object.keys(object).some(function (k) {
        if (k === key) {
            result = { value: object[k] };
            return true;
        }
        if (object[k] && typeof object[k] === 'object' && (result = getValue(object[k], key))) {
            return true;
        }
    }) && result;    
}

var urlList = [];
var linkList = [];

function getLinks (array, storage) {
    for (var i = 0; i < array.length; i++) {
        storage.push(Object.values(array.array[i]));
    }
}

var parseString = require('xml2js').parseString;
var xml = require('fs').readFileSync('xml/sitemap-10.xml', 'utf8');
parseString(xml, function(err, result) {
    urlList.push(getValue(result, 'url').value);
    getLinks (urlList, linkList);
    console.log(linkList);
});

UPD2: Скорректировал код по тому как писали в комментариях на:

function getValue(object, key) {
    var result;
    return Object.keys(object).some(function (k) {
        if (k === key) {
            result = { value: object[k] };
            return true;
        }
        if (object[k] && typeof object[k] === 'object' && (result = getValue(object[k], key))) {
            return true;
        }
    }) && result;    
}

var urlList = [];
var linkList = [];

function getLinks (array, result) {
        result = array.map(({ val }) => val);
    };

var parseString = require('xml2js').parseString;
var xml = require('fs').readFileSync('xml/sitemap-10.xml', 'utf8');
parseString(xml, function(err, result) {
    urlList.push(getValue(result, 'url').value);
    getLinks (urlList, linkList);
    console.log(linkList);
});

Теперь выдаёт: введите сюда описание изображения

UPD3: Странная ситуация, ругается на await и пишет что функция не асинхронная, хотя в вашем коде она явно указана как асинхронная

const cheerio = require('cheerio');
const { default: axios } = require('axios');
const { parseStringPromise } = require('xml2js');

const LinkList = await getLinks('https://leroymerlin.ru/sitemap-10.xml')
  .then(console.log)
  .catch(console.error);

async function getLinks(url) {
  const { data: sitemapData } = await axios.get(url);
  const parsedSitemapData = await parseStringPromise(sitemapData);

  const items = parsedSitemapData?.urlset?.url;
  if (items) {
    return (Array.isArray(items) ? items : [items]).map(
      (x) => x.loc || []
    ).flat();
  }
}

let parsedItems = {};

const parse = async () => {
    const getHTML = async (url) => {
        const {data} = await axios.get(url);
        return cheerio.load(data);
    }

    const $ = await getHTML(LinkList[1]);
    const title = await $('h1[class=header-2]').html();
    const price = await $('span[slot=price]').html();
    const brand = await $('dt:contains("Марка")').next().html().trim();

    parsedItems.push({title,price,brand});
    console.log(parsedItems);       
}

parse();

введите сюда описание изображения

7
  • Первая ошибка тут: urlList = getValue(result, 'url').value; вы не пополняете массив, а перетираете каждый раз. Вторая тут: for (key in object) { return object[key]; если вы хотите получить больше одного элемента, то здесь видимо нужен фильтр, а не возврат первого найденного элемента
    – Darth
    3 авг 2021 в 10:53
  • Первую ошибку можно полечить если значения отправлять в массив с помощью push ? 3 авг 2021 в 11:00
  • Верно, нужен push
    – Darth
    3 авг 2021 в 11:18
  • Добавил push и написал цикл перебора объектов в массиве, дополнил вопрос данными 3 авг 2021 в 11:59
  • какой-то бардак, я так понял нужно перебрать масив объектов и вернуть стринги ссылок? зачем (почему) some используется? result = array.map(({ val }) => val) 3 авг 2021 в 12:08

1 ответ 1

1
const { default: axios } = require('axios');
const { parseStringPromise } = require('xml2js');

getLinks('https://leroymerlin.ru/sitemap-10.xml')
  .then(console.log)
  .catch(console.error);

async function getLinks(url) {
  const { data: sitemapData } = await axios.get(url);
  const parsedSitemapData = await parseStringPromise(sitemapData);

  const items = parsedSitemapData?.urlset?.url;
  if (items) {
    return (Array.isArray(items) ? items : [items]).map(
      (x) => x.loc || []
    ).flat();
  }
}

Результат запуска:

$ node src/xml-parse-1/index.js 
[
  'https://leroymerlin.ru/product/kartina-na-holste-russkaya-kollekciya-feericheskiy-moment-hv-h81-93859335/',
  'https://leroymerlin.ru/product/kartina-na-holste-russkaya-kollekciya-zhelannoe-hv-h76-93859334/',
  'https://leroymerlin.ru/product/pled-doco-dante-10184-154-93859290/',
  'https://leroymerlin.ru/product/polotence-bannoe-stenova-home-surf-16515-93859296/',
  ...
]

Загрузку файла axios можно заменить на ваш вызов readFileSync.

5
  • Спасибо тебе добрый человек) А как можно обратиться с полученному массиву ссылок ? Я так понял результат функция пушит в консоль не записывая в переменную ? 4 авг 2021 в 11:25
  • const массивСсылок = await getLinks('https://leroymerlin.ru/sitemap-10.xml') 4 авг 2021 в 11:26
  • Обновил вопрос, node js почему то теперь ругается на await( 4 авг 2021 в 11:34
  • бесконечное обновление вопроса не приветствуется на stackoverflow. ответ на заданный вопрос был дан. ответ на вопрос, который вы задаёте сейчас: "думаю вам стоит какой-то базовый курс по js пройти" 4 авг 2021 в 11:36
  • Спасибо, так и поступлю) 4 авг 2021 в 11:59

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.