2

Имеется сервис, который подключается к N-количеству аккаунтов (в пределах одного API) и делает запросы от имени аккаунта. Количество запросов от одного аккаунтов достигает 6/сек. Ограничения API 50 запросов в секунду. В пиковые моменты, количество запросов достигает 100+/сек. При превышении лимита API отвечает 503 ошибкой Вопрос: как балансировать нагрузку, чтобы сервер всегда отвечал 200 (при условии что запрос валидный), то есть вкладываться в лимит 50/сек?

1
  • просто организовать очередь запросов
    – DiD
    14 янв 2022 в 15:50

1 ответ 1

0

Весь секрет состоит из того, чтоб каждая задача в очереди после выполнения добавляет 1 секунду ожидания, настраиваем количество одновременно выполняющихся воркеров 50. Тогда очередь не позволит выполнять больше 50 задач в секунду.

Это реализуется приблизительно так:

class Task {
  // Асинхронная функция для отложенного запуска
  callable = async () => {};
  // Состояние задачи
  state = 0; /* 0 - задача не решалась
                1 - задача решается
                2 - задача решена
                3 - задача выполнилась с ошибкой */
  // Результат выполнения
  result = null;
  // Ошибка выполнения
  error = null;
  constructor(callable) {
    if (
      "function" != typeof callable ||
      "AsyncFunction" != callable.constructor.name
    ) {
      throw new TypeError("Callable argument must to be an AsyncFunction");
    }
    Object.assign(this,{callable});
  }
  // Запуск задачи
  call() {
    this.state = 1;
    return this.callable()
      .then((result) => {
        this.state = 2;
        this.result = result;
        return Promise.resolve(result);
      })
      .catch((error) => {
        this.state = 3;
        this.error = error;
        return Promise.reject(error);
      });
  }
}

class Queue {
  state = 0; /* 0 - еще не запущена
                1 - работает
                2 - приостановлена
                3 - выполнена 
                4 - выполнена с ошибками */
  
  // Количество одновременных запросов
  workerNum = 3; /* здесь - 3, у вас - 50 */

  // Здесь хранится очередь задач
  tasksStack = [];
  // Здесь хранятся выполняемые задачи
  tasksPending = new Set;
  // Здесь хранятся успешно выполненые задачи
  tasksDone = [];
  // Здесь хранятся выполненые с ошибкой задачи
  tasksFailed = [];

  constructor(props){
    Object.assign(this,props);
  }

  // Добавляет задачи в конец очереди
  addEnd(tasks){
    if(!Array.isArray(tasks)) {
      tasks = [tasks];
    }
    this.checkTasks(tasks);
    this.tasksStack.push(...tasks);
    return this;
  }
  
  // Добавляет задачи в начало очереди
  addStart(tasks){
    if (!Array.isArray(tasks)) {
      tasks = [tasks];
    }
    this.checkTasks(tasks);
    this.tasksStack.unshift(...tasks);
    return this;
  }
  // Проверить задачи
  checkTasks(tasks){
    if (tasks.some((task) => !(task instanceof Task))) {
      throw new TypeError("В очередь можно добавлять только задачи");
    }
    return true;
  }
  // Начать выполнение
  start(){
    this.state = 1;
    for(let idx = 0; idx < this.workerNum; idx++){
      this.doNextTask();
    }
    return this;
  }
  // Закончить выполнение
  stop(){
    this.state = 2;
  }
  // Выполнить следующую задачу
  async doNextTask(){
    const nextTask = this.tasksStack.shift();
    if(!nextTask){
      if(!this.tasksPending.size){
        this.state = this.tasksFailed.length ? 4 : 3;
      }
      return this;
    }
    this.tasksPending.add(nextTask);
    try{
      await nextTask.call();
      this.tasksDone.push(nextTask);
    }
    catch(error){
      this.tasksFailed.push(nextTask);
    }
    finally{
      this.tasksPending.delete(nextTask);
    }
    if(this.state != 2){
      this.doNextTask();
    }
  }

}

// ========= TEST ===============

const wait = ms => new Promise(res => setTimeout(res,ms));

const Job = id => async ()=>{
  console.log('Job started: ' + id);
  // Код запроса
  await wait(1000);
  console.log('Job finished: ' + id);
};

// Создает очередь
const queue = new Queue();
//Добавляет задачи
queue.addEnd(new Task(Job(1)));
queue.addStart(new Task(Job(2)));
queue.addEnd([new Task(Job(3)),new Task(Job(4)),new Task(Job(5))]);
queue.addStart(new Task(Job(6)));
// Старт выполнения
queue.start();
// Пока выполняется добавим еще
queue.addEnd([new Task(Job(7)),new Task(Job(8))]);

1

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.