0

Есть функция F, на вход которой даётся 2 файла. Она их обрабатывает и сохраняет эти 2 файла уже изменёнными на диск, вместо старых.

Известно число ядер CPU, равное N.

Есть список файлов в количестве M, из них получен массив пар, используя число сочетаний из M по 2. Этот массив разделён на последовательные задания, каждое из которых содержит N непересекающихся пар.

Каким образом в Python организовать вызов этой функции F для всех N ядер CPU, при условии, что каждый такой многоядерный вызов будет с непересекающимися парами файлов (это уже реализовано в виде подготовленного массива заданий). После обработки, функция сохраняет эти 2*N файлов, и запускается уже со следующими файлами.

То есть как организовать вызов функции для N ядер -> ожидание завершения работы функции -> следующий вызов?

Необходимо реализовать это без использования каких-либо сложных структур или модулей, вроде многопоточных классов или как там их.

1 ответ 1

-1

Вариант решения задачи:

from multiprocessing.dummy import Pool

def loop(s):
    for i in range(10):
        print i,s

x = []
x.append(['1.txt','3.txt'])
x.append(['2.txt','4.txt'])
....

results = Pool().map(loop,x)
pass

Исправил, проверил, но всё равно работает только 1 CPU.

5
  • 2
    В CPython, только один поток может Питон код исполнять в любое время (поэтому только один CPU будет загружен Питон кодом). Несколько потоков одновременно могут работать только если другие потоки GIL отпустили (ждут ввода/вывода от системы, выполняют вычисления в Си коде, не трогая Питон-интерпретатор). Посмотрите в сторону пула процессов, к примеру из concurrent.futures модуля.
    – jfs
    24 июл 2018 в 17:32
  • @jfs да, вы правы 24 июл 2018 в 17:35
  • вот пример кода с использованием пула потоков (чтобы использовать процессы, достаточно импорты поменять) ru.stackoverflow.com/q/705237/23044
    – jfs
    24 июл 2018 в 17:40
  • мне кажется, проще будет сделать многократный вызов функции Python с параметрами, ждать окончания работы и вызывать опять с новыми параметрами, например из bat или sh файла (в зависимости от ОС). Просто вызвать сразу 8 экземпляров и получится 8 параллельных процессов 24 июл 2018 в 17:44
  • 2
    к чему велосипед изобретать, пул процессов за вас будет ждать окончания выполнения функции, сделает новые вызовы когда ресурсы появятся. Суть сводится к results = Pool().map(function, many_args)
    – jfs
    24 июл 2018 в 17:47

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.