На отложенное выполнение долгих действий
Раз для этого действия вы имеете возможность создавать отдельный поток, то вам необязательно завершать это действие до отправки ответа клиенту. А для подобных действий принято создавать очередь задач. В качестве канонического примера подобных действий обычно приводят отсылку электронной почты, но у вас нашлось действие немного другой природы, не менее подходящее.
С ними есть контроль над тем, сколько максимум таких тяжёлых задач может исполняться параллельно, и можно настроить количество очередй так, чтобы система не ложилась. И более того, можно менять это количество прямо во время работы (это больше задача из области администрирования).
Структура таких очередей обычно следующая:
- Есть хранилище задач. Это может быть специализированный сервер для обмена сообщениями (RabbitMQ), а может быть хранилище данных общего назначения (Redis, PostgreSQL). Там хранятся задачи, требующие выполнения.
- Есть сервер (воркер, рабочий процесс), который забирает по одной записи из хранилища задач в порядке очереди (порядок может быть навязан хранилищем данных, но не обязательно) и выполняет что написано.
- Есть клиент, который добавляет записи в хранилище задач.
Из современных реализаций из экосистемы Ruby могу подсказать следующее:
- ActiveJob — своеобразный адаптер для разных реализаций очередей, появился в Rails 4.2. Предсказуемо, почти вся функциональность, специфичная для конкретных реализаций, глубоко закопана или недоступна.
- Sidekiq — самый популярный вариант. Задачи хранит в Redis. Выполняют задачи запускаемые специально для этого процессы. Поддерживает ништяки вроде назначения задач на заданное время.
- Надёжность, к сожалению, так себе: воркеры забирают задачи из хранилища и атомарно с забором затирают их там, чтобы одну задачу не могло схватить несколько воркеров. Если процесс, выполнявший задачу, упадёт, задача исчезнет вникуда. Решение есть в платной версии, но вы понимаете.
- Hutch — малоизвестный вариант. По сути, является упрощённым клиентом к RabbitMQ, серверу обмена сообщениями. Упрощённым, т. к. возможностей абсолютный минимум и обмен сообщениями происходит через единственный topic exchange.
- Topic exchange можно использовать не только для очереди задач. Поэтому Hutch не позиционируется как очередь задач, но как средство обмена сообщениями между сервисами.
- Que — довольно новый и интересный вариант. Задачи хранит в отдельной таблице PostgreSQL. Может пользоваться всеми гарантиями ACID наравне с остальными данными и меняться в транзакциях вместе с ними.
- "Захват" задач производится через advisory lock (рекомендательную блокировку) на которую БД не обращает внимания, приложение может явно указать, что оно хочет к ним как-то относиться. Факт блокировки фиксируется на уровне соединения в оперативной памяти. Если соединение умрёт, блокировка отвалится и запись будет доступна для других. В этом есть и проблема: запускать воркеров Que с доступом к БД через pgbouncer нельзя.
Есть, конечно, и другие. Можно сориентироваться по списку поддержки ActiveJob.