1

Следующий код:

import threading
import sys
import hashlib
import multiprocessing

class ProcessFileHandler(multiprocessing.Process):
    def __init__(self, file_path):
        multiprocessing.Process.__init__(self)
        self.file_path = file_path
        self.hasher = hashlib.sha256()
        self.hash = None
    def run(self):
        with open(self.file_path, 'rb') as f:
            while True:
                chunk = f.read(2047)
                if not chunk:
                    break
                self.hasher.update(chunk)
        self.hash = self.hasher.hexdigest()
    def getHash(self):
        return self.hash

def main():
    args = sys.argv[1:]
    if not args:
        exit(1)

    handlers_pool = []

    for filepath in args:
        handler = ProcessFileHandler(filepath)
        handler.start()
        handlers_pool.append(handler)

    for handler in handlers_pool:
        handler.join()
        print(handler.getHash())

if __name__ == '__main__':
    main()

Выводит None хэш при любом файле на вход Однако если изменить multiprocessing на threading все работает, очень странно Вот код после изменения:

import threading
import sys
import hashlib
import threading

class ProcessFileHandler(threading.Thread):
    def __init__(self, file_path):
        threading.Thread.__init__(self)
        self.file_path = file_path
        self.hasher = hashlib.sha256()
        self.hash = None
    def run(self):
        with open(self.file_path, 'rb') as f:
            while True:
                chunk = f.read(2047)
                if not chunk:
                    break
                self.hasher.update(chunk)
        self.hash = self.hasher.hexdigest()
    def getHash(self):
        return self.hash

def main():
    args = sys.argv[1:]
    if not args:
        exit(1)

    handlers_pool = []

    for filepath in args:
        handler = ProcessFileHandler(filepath)
        handler.start()
        handlers_pool.append(handler)

    for handler in handlers_pool:
        handler.join()
        print(handler.getHash())

if __name__ == '__main__':
    main()

Вот результаты в первом случае и во втором:

Первый случай:

python3 test1.py /Users/user/Downloads/zashhitnyie-mehanizmyi-operatsionnoy-sistemyi-linux.pdf 
None

Второй случай:

python3 test1.py /Users/user/Downloads/zashhitnyie-mehanizmyi-operatsionnoy-sistemyi-linux.pdf 
4cbdac43afe5cbdcf5afc5c91e4273509974df5797119eb6b58a5eaafe294760

2 ответа 2

1

multiprocessing.Process создаёт отдельный системный процесс — со своим отдельным адресным пространством. Изменение переменных в одном процессе никак не влияет на другой процесс.

Чтобы передать данные из одного процесса в другой, необходимы явные меры (сериализация и пересылка данных, выделение общей памяти, другие IPC методы). К примеру, можно использовать Pipe или Manager классы. В вашем случае можно рассмотреть multiprocessing.Pool или concurrent.futures.ProcessPoolExecutor API:

for filename, hash_hexdigest, error in pool.imap_unordered(hash_file, filenames):
    if error is None:
        print(f"{hash_hexdigest}\t{filename}")
    else:
        print(f"error: can't generate hash for {filename}, reason: {error}",
              file=sys.stderr)

полный пример кода.

Вариант с threading работает так как потоки в одном процессе разделяют адресное пространство (обратная проблема существует как избежать одновременного доступа, как синхронизировать доступ к данным. Примеры решений: Lock, Queue классы).

0

А так?:

import sys
import hashlib
import multiprocessing

class ProcessFileHandler(multiprocessing.Process):
    def __init__(self, file_path):
        multiprocessing.Process.__init__(self)
        self.file_path = file_path
        self.hasher = hashlib.sha256()
        self.hash = multiprocessing.Manager().Value(str, '')

    def _run(self, val):
        with open(self.file_path, 'rb') as f:
            while True:
                chunk = f.read(2047)
                if not chunk:
                    break
                self.hasher.update(chunk)
        val.value = self.hasher.hexdigest()

    def run(self):
        return super().run(target=self._run, args=(self.hash,))

    def getHash(self):
        assert self.hash.value
        return self.hash.value

def main():
    args = sys.argv[1:]
    if not args:
        exit(1)

    handlers_pool = []

    for filepath in args:
        handler = ProcessFileHandler(filepath)
        handler.start()
        handlers_pool.append(handler)

    for handler in handlers_pool:
        handler.join()
        print(handler.getHash())

if __name__ == '__main__':
    main()

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.