1

Отправляю GET запрос, получаю данные. Эти данные все время обновляются ( спустя пару минут ). Нужно при первом GET запросе получить данные с нескольких следующих страниц. Пример для более правильного объяснения ( скриншот - данные в формате json, прошу обратить внимание на next_page:введите сюда описание изображения

После каждого получения данных я сохраняю их в свою БД. По сути, мне необходимо сделать синхронизацию с центральной базой данных. Подскажите, реально ли такое реализовать? Я так понимаю, что необходимо рекурсивно слать запрос до момента, пока next_page не будет. После этого подождать какое-то время ( setInterval ) и снова отправлять запросы на изменение данных в ЦБД.

На данный момент мой get request имеет такой вид ( код сохранения в БД добавлять пока не буду ).

let url = `http://publiement.org/api/2.4/trs?offset=${new Date().toISOString()}+02.00`;
function getData() {
  request(url, { json: true }, (err, res, body) => {
    if (err) {
      return console.log(err);
    }
    url = `http://publicurent.org/api/2.4/ts?offset=${body.next_item}`;
    saveDataToDb(body);
  });
}

Пользуясь таким способам, я теряю данные и опаздываю за обновлениями центральной базы данных. Не могли бы помочь с тем, как это дело реализовать

7
  • Если я правильно вас понял, и вам нужно постоянно поддерживать клиентов в актуальном состоянии, то вам стоит почитать про Long Pulling или реактивные приложения
    – vihtor
    17 янв 2018 в 12:14
  • @vihtor да, но это не совсем лонг поллинг. Вопрос в том, как догнать с моего начального состояния текущее состояние Центральной базы данных.. 17 янв 2018 в 12:24
  • вы имеете в виду как объединить текущие данные с вновь пришедшими?
    – vihtor
    17 янв 2018 в 12:27
  • нет, это понятно, в БД этим займется update с upsert: true; смотрите, я начинаю слать запрос например в 11.00 по своему времени, а в бд в это время уже есть данные и на 11.02, 11.04, 11.06. путь на эти страницы находится в next_page, как я описывал в вопросе. вот мне нужно в начале, при первом своем запросе собрать данные со всех существующих next_page. 17 янв 2018 в 12:29
  • я думал, что у меня нечтно похожее с ru.stackoverflow.com/questions/619018/… 17 янв 2018 в 12:33

1 ответ 1

2

Попробуй так

function updateData(url) {
  return request(url, { json: true }, (error, response, body) => {
    if (error) {
      throw error;
    }

    saveDataToDb(body);
    console.log(`Send data to save`);

    if (body.next_page) {
      updateData(body.next_page.uri);
      console.log(`I requested the next page`);
    } else {
      console.log(`I done`);
    }
  });
}

updateData(uri);

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.