0

Мне нужно одновременно отправить 1000 GET-запросов с помощью multiprocessing и через библиотеку tqdm отслеживать уже отправленные запросы

Проблема состоит в том, что я работаю со списком и при использовании tqdm я совершаю лишние действия. Как правильно написать progres bar?

Когда использую tqdm в функции get, на консоль не выводится progress bar

Для проверки использую https://en.wikipedia.org/wiki/

Вот полный код:

from tqdm import tqdm
import multiprocessing as mp
import requests
     
def get(url):
    response = requests.get(url)
    return response



if __name__ == '__main__':
    adress = input('Введите адрес: ')
    urls = [f'{adress}{i}' for i in range(1000)]
    with mp.Pool(mp.cpu_count()) as pool:
      res = pool.map(get, urls)
4
  • Ну, можно на этапе разбора результатов добавить прогресс-бар: for res in tqdm(pool.map(get, urls)): ...
    – CrazyElf
    13 мар в 9:43
  • @CrazyElf Он сразу же заполняет progres bar, а не делает это поэтапно, вот вывод из консоли: Total: 100%|████████████████████████████████████████████| 10/10 [00:00<?, ?it/s]
    – Mishgen
    13 мар в 9:58
  • Так вы из response что-нибудь извлекайте, возможно получение ответа от сайта происходит только после этого. Ну или так быстро всё срабатывает
    – CrazyElf
    13 мар в 10:32
  • @CrazyElf При попытке использовать tqdm в функции get в консоль не выводиться ровным счётом ничего. Пробовал по разному делать - результат тот же. Вот как я написал: for response in tqdm(requests.get(url), ncols=80, desc='Total'):
    – Mishgen
    13 мар в 10:43

1 ответ 1

2

Вот вам пример кода, как можно сделать, для примера я использовал сайт, который выдаёт результаты с заданной задержкой. И ещё я использовал imap вместо map, в этом случае результаты приходят суммарно быстрее, но не обязательно в том порядке, в котором были запрошены.

from tqdm import tqdm
import multiprocessing as mp
import requests
     
def get(url):
    response = requests.get(url)
    return response.json()['url']

if __name__ == '__main__':
    adress = 'http://httpbin.org/delay/'
    urls = [f'{adress}{i}' for i in range(1,11)]
    results = []
    with mp.Pool(mp.cpu_count()) as pool:
        for res in tqdm(pool.imap(get, urls), total=len(urls)):
            results.append(res)
    print(results)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.