1

Всем привет. Скажу сразу, только недавно окунулся в мир JS и NodeJs. Задача следующая, мне нужно сделать неопределенное количество GET-запросов на страницы отличающиеся лишь инкрементированным индексом (+1). НЕ могу понять, как с помощью Promise.all передать результаты запросов в массив и прекратить передачу при статусе 500, 404. Вот код, который есть сейчас у меня:

const https = require('https');

var arrayOfHTML = [];
let time = new Date().getTime();
var str = '';
callback = function(response) {
    response.on('data', function (chunk) {
        str += chunk;
    });
    response.on('end', function () {
        let a = JSON.parse((str)); //преобразовать строку в JSON
        arrayOfHTML[i] = a[0].content.trim();//добавить свойство контент в массив
        //На этом этапе массив полон, но при вызове за пределами ИМЕННО
        //ЭТОЙ ФУНКЦИИ, то массив пустой
    });
};
let i=0;
while (i < 45){
    https.request(`https://www.somesite.com/Example?page=${i}&pageAction=getPage&_=${time}`, callback).end();
    i++;
}

Он не до конца подходит так как запись в массив не производиться корректно и отправка запросов циклом не самая лучшая идея. Помогите пожалуйста переделать под промисы. Коротко: мне нужно отправлять запросы на отличающиеся адреса до тех пор, пока statusCode = 200, при ином результате - вернуть ответы удачных запросов в виде массива.

4
  • Promise.all вам в этом не поможет. Читайте ru.stackoverflow.com/questions/708781/… 25 сен 2019 в 15:04
  • @StepanKasyanenko там используется определенный массив, а мне нужно делать неопределенное количество запросов. один раз 20, другой 45, в третий 82 и тд. Простите, если не увидел там ответа на свой вопрос, но мне кажется, что промисами с перехватом статуса 404 и 500 будет правильнее. Хотя, возможно я и ошибаюсь
    – Glechik
    25 сен 2019 в 15:17
  • Вместо определенного массива вы можете использовать циклы - один раз 20, другой 45, в третий 82 и тд.. Промисы ничем не отличаются от колбеков по своему функционалу. 26 сен 2019 в 5:00

3 ответа 3

1

45 одновременных запросов это - бессмысленная нагрузка и на источник данных, и на ваш сервер.

Я видел в вашем предыдущем вопросе, что вы загружаете данные с сайта букмекерской конторы "Марафон". Решим задачу на с помощью цепочки промисов:

import axios from 'axios';

loadMarathonbet(45)
  .then((marathonbetFootballPages) => {
    console.log(marathonbetFootballPages);
  })
  .catch((err) => console.error(err));


function loadMarathonbet(depth) {
    return loadMarathonbetPage(1, depth);
}

function loadMarathonbetPage(pageNumber = 1, depth = null, acc = []) {
    if (depth && depth < pageNumber) {
        return Promise.resolve(acc);
    }
    console.log(pageNumber);
    return axios.get('https://www.marathonbet.ru/su/popular/Football',
        {
            params: {page: pageNumber, pageAction: 'getPage', _: new Date().valueOf()},
            headers: {'X-Requested-With': 'XMLHttpRequest'}
        }
    )
    .then(({ data }) => {
        if (data) {
            const [pageContent, ...properties] = data;
            const hasNextPage = (properties.find((x) => x && x.prop === 'hasNextPage') || {}).val === true;
            if (pageContent) {
                acc.push({pageNumber, pageContent: pageContent.content});
            }
            if (hasNextPage) {
                return loadMarathonbetPage(pageNumber + 1, depth, acc);
            }
        }
        return acc;
    })
    .catch((err) => {
        console.error(err);
        return acc;
    });
}

1
  • Очень хороший вариант, но как долго будет обрабатываться запрос, если параллельно мне нужно зайти на страницу каждого условного матча и спарсить некоторые данные еще и там? При этом добавляя и редактируя данные в бд. Подойдет ли для многопотока цепочка промисов?
    – Glechik
    28 сен 2019 в 17:17
1

оберните запрос в промис (а лучше не колупайтесь с этим и сразу используйте библиотеку axios которая сразу возвращает промис)

const myAsyncRequest = function(url) {
  return new Promise((resolve, reject) => {

    const callback = function(response) {
      if (response.statusCode !== 200) {
        return reject(response.statusMessage);
      }

      let str = '';

      response.on('data', function (chunk) {
          str += chunk;
      });
      response.on('end', function () {
        let a = JSON.parse((str)); //преобразовать строку в JSON

        return resolve(a);
      });
    };

    const req = https.request(url, callback);

    req.on('error', (e) => {
      return reject(err);
    });

    req.end();

  });
}

теперь можете создать массив промисов:

const promiseArr = [];

while (i < 45){
  promiseArr.push(
    myAsyncRequest(someBasicUrl + i)
  );
  i++;
}

Promise.all(promiseArr)
  .then(arrOfResults => {arrOfResults.forEach( do something... )})
  .catch(err => {console.error('wait! oh shh...')})
8
  • 1
    лучше было посоветовать сделать цепочку промисов, а не отсылать на сервер 45 запросов одновременно 25 сен 2019 в 15:46
  • @nörbörnën Мне, как новичку было бы интересно изучить и ваш вариант, может вы можете его показать?
    – Glechik
    25 сен 2019 в 16:08
  • Спасибо большое за ответ. Это почти то, что нужно, но если хотя бы 1 запрос вернет статус 500, то будет вывод только ошибки, а мне нужен массив с данными с 200 кодом. Возможно ли это вообще при помощи промисов? Если нет, то что я могу использовать?
    – Glechik
    25 сен 2019 в 16:17
  • @Glechik если вам больше подходит такое поведение, используйте Promise.allSettled вместо Promise.all (описание - learn.javascript.ru/promise-api#promise-allsettled), а потом массив ответов надо будет фильтрануть. еще вариант в Promise.all вместо reject использовать resolve(null) и выполнение не упадет с ошибкой. а массив потом опять же фильтрануть.
    – muturgan
    26 сен 2019 в 6:12
  • @Glechik в случае с возвращением null на неудачу массив ответов можно отфильтровать очень коротко: arrOfResults.filter(item => Boolean(item))
    – muturgan
    26 сен 2019 в 6:16
1

для сравнения покажу как уменьшится код при использовании аксиос.

const axios = require("axios");

const promiseArr = [];

while (i < 45){
  promiseArr.push(
    axios.get(someBasicUrl + i)
      .then(res => res.data) // кстати json тут уже распарсили и мы сразу возвращаем джаваскриптовый объект
      .catch(err => { console.error(err); return null; }); // раз уж мы не хотим ронять процесс при неудаче одного из запросов
  );
  i++;
}

Promise.all(promiseArr)
  .then(results => results.filter(item => Boolean(item)))
  .then(filteredResults => do something...)
  .catch(err => you never know what will happen...);

т.е. весь первый сниппет кода из предыдущего ответа сократился до одной строчки

1
  • Спасибо большое
    – Glechik
    26 сен 2019 в 7:32

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.