1

есть скрипт на python он подключается к базе sql, получает строки, и обрабатывает их. строки появляются постоянно. поэтому скрипт будет запускаться постоянно, это можно настроить в cron или sheduler. Но проблема в том, что данных каждый день разное количество. например сейчас может быть 10 000 строк и их обработка займет 40 часов, а завтра может быть 1 строчка, и скрипт отработает за секунду. Как правильнее сделать так, чтобы скрипт запускался по расписанию, но при этом если предыдущее задание не выполнено, то расписание переносилось на следующий день / дней.

4
  • Я думаю, что есть какое-то более правильное решение, но можно сделать так: при запуске скрипт создает файл и начинает работать, по завершению работы он его удаляет. В Cron стоит проверка, если файл существует - скрипт не запускать, если не существует - запускать.
    – RTK
    4 ноя 2019 в 10:52
  • вот с файлами я как раз и думал, но выглядит колхозненько. зато логично. если файле есть ждать. 4 ноя 2019 в 10:55
  • Ничего "колхозненького" в этом нет, это фундаментальный метод блокировки pid файла по которому работают демоны в *nix системах. Только проверять это должен не cron как Вам предложили выше, а в данном конкретном случае Ваш же скрипт, который cron'ом можно (нужно) запускать хоть каждую минуту. В python для этого есть метод , например, fcntl.lockf . P.S. и при чём тут docker?
    – nobody
    4 ноя 2019 в 11:43
  • чтобы это все запихнуть в docker, и будет все само крутиться, а итоговый файл в расшаренную папку выводить. 4 ноя 2019 в 12:50

2 ответа 2

1

есть скрипт на python

скрипт будет запускаться постоянно

Можно воспользоваться celery + redis для периодических задач. Не много сложнее в разработке.

может быть 10 000 строк и их обработка займет 40 часов, а завтра может быть 1 строчка

Первая задача создаст задачи по обработке строк (к примеру по 1000/100/1). Таким образом периодическую задачу можно запускать чаще (хоть каждый час) данных будет меньше, чем за день, а утилизация более равномерная.

Задачи по обработке строк ограничить в кол-ве одновременно выполняемых (в зависимости от ресурсов сервера).

чтобы это все запихнуть в docker

Описываем в docker-compose.yml два сервиса (celery + redis). Деплой на docker-swarm (docker stack -c docker-compose.yml parser_lines).

1
from datetime import datetime, timedelta, time, date
from time import sleep

# Типа ваш скрипт обработки
def process(duration: timedelta):
    sleep(duration.seconds)


if __name__ == '__main__':
    
    # Время старта скрипта
    scheduled_time = time(hour=12, minute=0, second=0)
    
    # вместо запуска в crone
    while True:
        process(
            timedelta(hours=40)  # для тестирования работы
        )

        td = date.today()
        
        # Время следующего старта будет назначено на запланированное время следующих суток
        next_loop_start = datetime.combine(date.today() + timedelta(days=1), scheduled_time)
        delay = (next_loop_start - datetime.now()).seconds
        sleep(delay)
2
  • Это вариант, но если скрипт вдруг упадёт по какой-то причине, то он не выполнится больше, пока его заново не запустят. Именно поэтому предпочитают запуск из крона - он состоится в любом случае, даже если при каких-то запусках скрипт падает, при других запусках он может всё-таки отработать.
    – CrazyElf
    23 окт 2020 в 6:37
  • @CrazyElf, Если заморачиваться на отказоустойчивость, то лучше уж тогда этот скрипт запустить через systemd unit с опцией Restart=always RestartSec=5.
    – Namerek
    23 окт 2020 в 22:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.