Есть web сервис на Go (пока на встроенном сервере, а не на fasthttp) со своим документированным API. Сам сервис работает как промежуточное звено к API другого внешнего сервиса и у этого внешнего сервиса есть свои ограничения на число запросов к нему: не больше 10 запросов в секунду. Соответственно, мой сервис делает вынужденную паузу в 100 msc перед каждым запросом на него. Все OK - внешний сервис доволен и не банит.
Проблема. Есть запросы будет делать один пользователь (соблюдая лимит 10 запросов в секунду), то мой сервис будет нормально работать (по крайней мере при его локальном использовании все OK). Но если на удаленный вариант этого сервиса (сейчас он на heroku) 10 пользователей будет одновременно делать запросы по API, то общая нагрузка сервиса возрастет до 100 запросов в секунду. Но так как у меня есть таймауты между запуском горутин-запросов на внешний сервис внутри каждой горутины user-подключения, то получается что множество горутин от юзеров будут вынужденно спать и накапливаться (если я правильно понимаю). Как это все правильно разруливается? И поможет ли установка nginx? Установка nginx перед Go сервером пока в планах.
Тест сервиса через siege (запрос был по API и с возвратом небольшой порции данных) дал такие результаты:
siege -d1 -c50 -r50 -t60s
Transactions: 2329 hits
Availability: 99.70 %
Elapsed time: 59.18 secs
/Data transferred: 0.20 MB
Response time: 0.68 secs
Transaction rate: 39.36 trans/sec
Throughput: 0.00 MB/sec
Concurrency: 26.58
Successful transactions: 2329
Failed transactions: 7
Longest transaction: 1.48
Shortest transaction: 0.55
Код (основной) базового воркера, который запускается из http обработчика в виде горутины:
for chunkText := range main.Sents.Iter(trs.API.Limit) {
select {
case <-ctx.Done():
cancel = true
break
default:
task := Task{}
//task := poolTask.Get().(*Task)
task.Lang = main.Lang
task.Text = chunkText
task.Id = chunkId
task.Size = utf8.RuneCountInString(chunkText)
chunkId += 1
main.TaskCount += 1
main.Wg.Add(1)
log.Tracef("[WORK %s] [%d] %#v", category, chunkId, task)
if goTimeOut > 0 {
time.Sleep(goTimeOut) // 100 msc
}
go trs.Run(ctx, task, main) // запрос к внешнему сервису
}
}
main.Wg.Wait()
close(main.TaskChan)