Всем привет, пытаюсь написать цикл в node js для перебора ссылок из массива и дальнейшей их обработки. Столкнулся с проблемой, вот код:
const axios = require('axios');
const cheerio = require('cheerio');
function getValue(object, key) {
var result;
return Object.keys(object).some(function (k) {
if (k === key) {
result = { value: object[k] };
return true;
}
if (object[k] && typeof object[k] === 'object' && (result = getValue(object[k], key))) {
return true;
}
}) && result;
}
var urlList = [];
var parseString = require('xml2js').parseString;
var xml = require('fs').readFileSync('xml/sitemap-10.xml', 'utf8');
parseString(xml, function(err, result) {
urlList = getValue(result, 'url').value;
});
function getLinks (object, key) {
for (key in object) {
return object[key];
}
}
console.log(getLinks(urlList, 'loc'));
Но получаю только первый элемент в консоль:
Сам первичный объект выглядит так:
Хотелось - бы получить массив из элементов-ссылок для дальнейшего перебора парсером.
UPD Добавил push для наполнения массива объектами с ссылками, написал цикл для перебора объектов в массиве для вытаскивания значений в этих объектах, но теперь отказывается запускаться с ошибкой: throw er; // Unhandled 'error' event
Вот код
function getValue(object, key) {
var result;
return Object.keys(object).some(function (k) {
if (k === key) {
result = { value: object[k] };
return true;
}
if (object[k] && typeof object[k] === 'object' && (result = getValue(object[k], key))) {
return true;
}
}) && result;
}
var urlList = [];
var linkList = [];
function getLinks (array, storage) {
for (var i = 0; i < array.length; i++) {
storage.push(Object.values(array.array[i]));
}
}
var parseString = require('xml2js').parseString;
var xml = require('fs').readFileSync('xml/sitemap-10.xml', 'utf8');
parseString(xml, function(err, result) {
urlList.push(getValue(result, 'url').value);
getLinks (urlList, linkList);
console.log(linkList);
});
UPD2: Скорректировал код по тому как писали в комментариях на:
function getValue(object, key) {
var result;
return Object.keys(object).some(function (k) {
if (k === key) {
result = { value: object[k] };
return true;
}
if (object[k] && typeof object[k] === 'object' && (result = getValue(object[k], key))) {
return true;
}
}) && result;
}
var urlList = [];
var linkList = [];
function getLinks (array, result) {
result = array.map(({ val }) => val);
};
var parseString = require('xml2js').parseString;
var xml = require('fs').readFileSync('xml/sitemap-10.xml', 'utf8');
parseString(xml, function(err, result) {
urlList.push(getValue(result, 'url').value);
getLinks (urlList, linkList);
console.log(linkList);
});
UPD3: Странная ситуация, ругается на await и пишет что функция не асинхронная, хотя в вашем коде она явно указана как асинхронная
const cheerio = require('cheerio');
const { default: axios } = require('axios');
const { parseStringPromise } = require('xml2js');
const LinkList = await getLinks('https://leroymerlin.ru/sitemap-10.xml')
.then(console.log)
.catch(console.error);
async function getLinks(url) {
const { data: sitemapData } = await axios.get(url);
const parsedSitemapData = await parseStringPromise(sitemapData);
const items = parsedSitemapData?.urlset?.url;
if (items) {
return (Array.isArray(items) ? items : [items]).map(
(x) => x.loc || []
).flat();
}
}
let parsedItems = {};
const parse = async () => {
const getHTML = async (url) => {
const {data} = await axios.get(url);
return cheerio.load(data);
}
const $ = await getHTML(LinkList[1]);
const title = await $('h1[class=header-2]').html();
const price = await $('span[slot=price]').html();
const brand = await $('dt:contains("Марка")').next().html().trim();
parsedItems.push({title,price,brand});
console.log(parsedItems);
}
parse();
urlList = getValue(result, 'url').value;
вы не пополняете массив, а перетираете каждый раз. Вторая тут:for (key in object) { return object[key];
если вы хотите получить больше одного элемента, то здесь видимо нужен фильтр, а не возврат первого найденного элементаresult = array.map(({ val }) => val)