1

Следующий код:

import threading
import sys
import hashlib
import multiprocessing

class ProcessFileHandler(multiprocessing.Process):
    def __init__(self, file_path):
        multiprocessing.Process.__init__(self)
        self.file_path = file_path
        self.hasher = hashlib.sha256()
        self.hash = None
    def run(self):
        with open(self.file_path, 'rb') as f:
            while True:
                chunk = f.read(2047)
                if not chunk:
                    break
                self.hasher.update(chunk)
        self.hash = self.hasher.hexdigest()
    def getHash(self):
        return self.hash

def main():
    args = sys.argv[1:]
    if not args:
        exit(1)

    handlers_pool = []

    for filepath in args:
        handler = ProcessFileHandler(filepath)
        handler.start()
        handlers_pool.append(handler)

    for handler in handlers_pool:
        handler.join()
        print(handler.getHash())

if __name__ == '__main__':
    main()

Выводит None хэш при любом файле на вход Однако если изменить multiprocessing на threading все работает, очень странно Вот код после изменения:

import threading
import sys
import hashlib
import threading

class ProcessFileHandler(threading.Thread):
    def __init__(self, file_path):
        threading.Thread.__init__(self)
        self.file_path = file_path
        self.hasher = hashlib.sha256()
        self.hash = None
    def run(self):
        with open(self.file_path, 'rb') as f:
            while True:
                chunk = f.read(2047)
                if not chunk:
                    break
                self.hasher.update(chunk)
        self.hash = self.hasher.hexdigest()
    def getHash(self):
        return self.hash

def main():
    args = sys.argv[1:]
    if not args:
        exit(1)

    handlers_pool = []

    for filepath in args:
        handler = ProcessFileHandler(filepath)
        handler.start()
        handlers_pool.append(handler)

    for handler in handlers_pool:
        handler.join()
        print(handler.getHash())

if __name__ == '__main__':
    main()

Вот результаты в первом случае и во втором:

Первый случай:

python3 test1.py /Users/user/Downloads/zashhitnyie-mehanizmyi-operatsionnoy-sistemyi-linux.pdf 
None

Второй случай:

python3 test1.py /Users/user/Downloads/zashhitnyie-mehanizmyi-operatsionnoy-sistemyi-linux.pdf 
4cbdac43afe5cbdcf5afc5c91e4273509974df5797119eb6b58a5eaafe294760

2 ответа 2

1

multiprocessing.Process создаёт отдельный системный процесс — со своим отдельным адресным пространством. Изменение переменных в одном процессе никак не влияет на другой процесс.

Чтобы передать данные из одного процесса в другой, необходимы явные меры (сериализация и пересылка данных, выделение общей памяти, другие IPC методы). К примеру, можно использовать Pipe или Manager классы. В вашем случае можно рассмотреть multiprocessing.Pool или concurrent.futures.ProcessPoolExecutor API:

for filename, hash_hexdigest, error in pool.imap_unordered(hash_file, filenames):
    if error is None:
        print(f"{hash_hexdigest}\t{filename}")
    else:
        print(f"error: can't generate hash for {filename}, reason: {error}",
              file=sys.stderr)

полный пример кода.

Вариант с threading работает так как потоки в одном процессе разделяют адресное пространство (обратная проблема существует как избежать одновременного доступа, как синхронизировать доступ к данным. Примеры решений: Lock, Queue классы).

0

А так?:

import sys
import hashlib
import multiprocessing

class ProcessFileHandler(multiprocessing.Process):
    def __init__(self, file_path):
        multiprocessing.Process.__init__(self)
        self.file_path = file_path
        self.hasher = hashlib.sha256()
        self.hash = multiprocessing.Manager().Value(str, '')

    def _run(self, val):
        with open(self.file_path, 'rb') as f:
            while True:
                chunk = f.read(2047)
                if not chunk:
                    break
                self.hasher.update(chunk)
        val.value = self.hasher.hexdigest()

    def run(self):
        return super().run(target=self._run, args=(self.hash,))

    def getHash(self):
        assert self.hash.value
        return self.hash.value

def main():
    args = sys.argv[1:]
    if not args:
        exit(1)

    handlers_pool = []

    for filepath in args:
        handler = ProcessFileHandler(filepath)
        handler.start()
        handlers_pool.append(handler)

    for handler in handlers_pool:
        handler.join()
        print(handler.getHash())

if __name__ == '__main__':
    main()

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.