1

Доброго времени суток. Нуждаюсь в совете , как одному потоку, забрать данные из другого, пока тот выполняется.(немного коряво, лучшей формулировки не придумал.)

Пока выглядит так:

import sys
import threading
import time

#Тут можно не смотреть, готовая рабочая функция!!!
# Print iterations progress
def printProgressBar (iteration, total, prefix = '', suffix = '', decimals = 1, length = 100, fill = '█'):
    """
    Call in a loop to create terminal progress bar
    @params:
        iteration   - Required  : current iteration (Int)
        total       - Required  : total iterations (Int)
        prefix      - Optional  : prefix string (Str)
        suffix      - Optional  : suffix string (Str)
        decimals    - Optional  : positive number of decimals in percent complete (Int)
        length      - Optional  : character length of bar (Int)
        fill        - Optional  : bar fill character (Str)
    """
    percent = ("{0:." + str(decimals) + "f}").format(100 * (iteration / float(total)))
    filledLength = int(length * iteration // total)
    bar = fill * filledLength + '-' * (length - filledLength)
    print('\r%s |%s| %s%% %s' % (prefix, bar, percent, suffix), end = '\r')
    # Print New Line on Complete
    if iteration == total: 
        print()

#Тут начинаем смотреть, начинается мой быдлокод!        
def long_function(): # некая функция, которая выполняется какое-то время, 
                     # по времени она не однородна
    n=0
    while n<10:
        if n<3:
            time.sleep(2)
        else:
            if n<8:
                time.sleep(3)
            else:   
                if n<11:
                    time.sleep(1)
        n=n+1
        return n # собственно какой-то способ как отдавать на каждой итерации переменную
l = 10
t = threading.Thread(target=long_function)
t.start()
printProgressBar(0, l, prefix = 'Progress:', suffix = 'Complete', length = 50)
while t.is_alive(): # пока функция выполняется
    t.join(1)
    # f = long_function  естественно это не работае.
    printProgressBar(f + 1, l, prefix = 'Progress:', suffix = 'Complete', length = 50)

Смысл, есть некая функция, она как-то выполняется, хочу отслеживать её прогресс поитерационно. Нарыл на просторах, способ реализации прогресса.

Вопрос, как мне в переменную f поместить данные из выполняемой в отдельном потоке функции(пока она выполняется, а не когда она закончится)

0

4 ответа 4

6
import queue
import threading
import time  

def long_function(q): # некая функция, которая выполняется какое-то время,
    n=0
    while n<10:
        if n<3:
            time.sleep(2)
        else:
            if n<8:
                time.sleep(3)
            else:   
                if n<11:
                    time.sleep(1)
        n=n+1
        q.put_nowait(n)  # собственно какой-то способ как отдавать на каждой итерации переменную


qe = queue.Queue()
t = threading.Thread(target=long_function, args=[qe])
t.start()

while t.is_alive(): # пока функция выполняется
    n = qe.get()
    print(n)
2
  • можно проще: for n in iter(q.get, None): print(n) и в конце long_function(): q.put(None).
    – jfs
    27 окт 2017 в 12:17
  • Спасибо, заработала и дополнительно разобрался с queue. 27 окт 2017 в 14:50
2

Помимо очереди (queue.Queue), чтобы связать потоки производителя/потребителя, можно обратный вызов (callback) передать:

def f(on_update):
    while True:
        ...
        on_update(n)

Пример из stdlib: urlretrieve() принимает reporthook функцию:

with TqdmUpTo(unit='B', unit_scale=True, desc=filename, miniters=1) as t:
    urlretrieve(url, filename=filename, reporthook=t.update_to)

где TqdmUpTo класс определён в документации tqdm модуля.

download-progressbar-tqdm.py's tty session

Ещё пример reporthook функций, реализующих текстовый интерфейс/tkinter GUI, c потоками/без потоков.

0

ну, например, объявите n глобальной в функции

def long_function(): # некая функция, которая выполняется какое-то время,
                 # по времени она не однородна
    global n
    ....

возвращать n соответственно не нужно.

вызов прогрессбара будет

printProgressBar(n, l, prefix = 'Progress:', suffix = 'Complete', length = 50)
-2

threading лучше не использовать потому что это не многопоточность а шлак непонятный.

import time
import multiprocessing


def worker(status):
    for i in range(10):
        time.sleep(2)
        status.value = i


status = multiprocessing.Value('i')
process = multiprocessing.Process(target=worker, args=(status,))
process.start()

while process.is_alive():
    time.sleep(1)
    print(status.value)
2
  • 1
    минус за непонятный шлак :), разберитесь в каких случаях стоит использовать threading, чтобы это принесло ускорение 27 окт 2017 в 10:31
  • с threading всё ок, если нужно делать I/O внутри тредов. Например в connection-пулах к БД. В целом, использование multiprocessing здесь может быть хорошим советом, если в треде идёт много вычислений. И про GIL не помешает почитать автору коммента, конечно: wiki.python.org/moin/GlobalInterpreterLock
    – dred
    27 окт 2017 в 11:55

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.