4

День добрый. У меня есть код, который по очереди вызывает модули. Первый и последний модули должны удалить файлы, оставшиеся после предыдущего запуска.

Со второго по пятый - по очереди: загружают выбранные файлы с ресурса, распаковывают архивы и извлекают указанные файлы, перереформатируют и перекрашивают и, наконец публикуют.

В синхронном режиме все работает, но долго. Есть у меня идея прикрутить туда asyncio, чтоб после загрузки первого из файлов его сразу же подхватывал следующий модуль, но что-то не получается. Помогите, пожалуйста, разобраться. Код:

import sys
import glob, os
import datetime
import time
import subprocess
import asyncio
from concurrent.futures import ALL_COMPLETED

start_time = time.time()

startDate = sys.argv[1]
finishDate = sys.argv[2]


os.system('python3 /var/www/html/algorithm/tiles/delete_all.py')

async def step3():
    await step2()
    await asyncio.create_subprocess_shell('python3 /var/www/html/algorithm/sentinel_gpgeo/public/walk.py ')

async def step2():
    await step1()
    await asyncio.create_subprocess_shell('python3 /var/www/html/algorithm/tiles/walk.py ')
        
async def step1():
    await asyncio.create_subprocess_shell('python3 /var/www/html/algorithm/tiles/download_all.py '+startDate+' '+finishDate)




async def step4():
await step3()
await asyncio.create_subprocess_shell('python3 /var/www/html/algorithm/sentinel_gpgeo/public/public.py ')
    
 
ioloop = asyncio.get_event_loop()
ioloop.run_until_complete(step3())
ioloop.close()



os.system('python3 /var/www/html/algorithm/tiles/delete_all.py ')

print("--- %s seconds ---" % (time.time() - start_time))
9
  • 1
    os.system полностью блокирует поток выполнения, поэтому никакой асинхронности здесь нет
    – andreymal
    18 ноя 2020 в 11:52
  • 1
    использовать asyncio.create_subprocess_exec. А вообще вот
    – vitidev
    18 ноя 2020 в 12:21
  • 1
    asyncio.create_subprocess_хх у вас оторван от реальности. Вы нигде не делаете ему await. Также почему asyncio.ensure_future, а не просто await step2() - был бы смысл если бы вам нужно было ждать несколько тасков, но вы ждете одну. Но я не имел дела с питоном ниже 3.7, так что тонкостей не знаю.
    – vitidev
    19 ноя 2020 в 9:58
  • 1
    вы просто вызываете asyncio.create_subprocess_shell, он стартует и идет выполнение остального кода метода и так на выход. Никто не ждет (await) его окончания. И даже в step1 нужно писать await asyncio.create_subprocess_shell. У вас вообще должно быть await asyncio.create_subprocess_shell и await stepX везде и тогда они будут выполняться последовательно (если конечно вам не нужна параллельность)
    – vitidev
    19 ноя 2020 в 13:59
  • 1
    А никто не знает что вы хотите сделать. Откуда нам знать что должно быть последовательно, а что параллельно. А потому вам указали на явные ошибки "вроде бы asyncio, а await не видно". await это "асинхронно подождать в этом месте". И если нужно не ждать, а параллельность, то вот тут и нужно asyncio.ensure_future, который сделает вам таску, которую вы где то потом сделаете await где нужно ждать.
    – vitidev
    20 ноя 2020 в 8:07

1 ответ 1

1

Огромное спасибо тем, кто комментировал и подсказывал новичку.

В благодаря помощи сообщества, а так же методом проб и ошибок было выяснено, что для решения данной задачи asyncio с subprocess не подходит. Выполнение кода на средних объемах загружаемых данных замедляется более чем в два раза, а именно с приблизительно 2400 секунд(зависит от скорости скачивания запрашиваемых файлов) до.... Терпения не хватило, когда время выполнения перевалило за два часа - я убил процесс.mith busted

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.