Вопросы с меткой [multiprocessing]
multiprocessing - это использование двух или более центральных процессоров в рамках одной компьютерной системы. Соответствующие детали реализации и использования варьируются в зависимости от операционной системы и языка программирования. Поэтому всегда добавляйте теги для операционной системы, и для языка.
229
вопросов
-1
голос
0
ответов
21
показ
Почему у меня возникает ошибка?
Есть такой код:
class Super_cls:
def run(self):
res = input('запуск всех- all, одного любое значение\n')
if res in ['all', 'a', 'все']:
di = Factory('all')
...
0
голосов
0
ответов
29
показов
ImportError: cannot import name 'user_list' from 'analysis'
для ускорения работы функции использовала мультипроцессинг. а затем поставляю данные для получения нужного результата в метод и получаю некий список. как этот список импортировать в другой py-файл ...
0
голосов
0
ответов
26
показов
python ProcessPoolExecutor
У меня есть класс, парсер, который нужно запустить в многопроцессорности.
Я использую ProcessPoolExecutor() модуля concurrent.futures и в цикле передаю в класс парсера категорию и запускаю парсер.
Все ...
0
голосов
1
ответ
21
показ
multiprocessing MemoryError
phrases = getPhrases(start_phrase_txt)
pool = Pool(processes=3, maxtasksperchild=1000)
for i in range(0, len(phrases)):
pool.apply_async(checkPhrase, args=(phrases[i], phrases[i+1:], i, len(...
0
голосов
0
ответов
27
показов
Оптимизация работы с SQLite бд при помощи мультипроцессинга/многопоточности Pyton
Есть асинхронный тг бот для взаимодействия с некоторым количеством бд.
Например есть 5 больших SQLite бд. (в самой большой из них порядка 50млн строк).
Есть файл в котором происходит поиск по значению ...
0
голосов
1
ответ
23
показа
При использовании multiprocessing идёт зацикливание после компиляции pyinstaller
Я использую multiprocessing и столкнулся с проблемой. После компиляции программы в exe с помощью pyinstaller, почему-то всё начиная с print('123') зацикливается.
Когда я запускаю не скомпилированный ...
0
голосов
0
ответов
30
показов
Как остановить процесс процесса multiprocessing?
Мне нужно остановить процесс, который был запущен из другого процесса.
Если я закрываю первый процесс, то его процессы остаются работать.
import multiprocessing
import time
def second_process():
...
0
голосов
1
ответ
38
показов
Как завершить дочерние процессы запущенные запросом в асинхронном коде?
Веб-сервер при получении get запроса запускает три процесса. Задача заключается в корректном завершении дочерних процессов при получении сигнала SIGTERM в главном процессе (ctrl+C, завершить процесс в ...
1
голос
1
ответ
46
показов
Подсчитать количество потоков в системе linux на python
Собственно задание, найти количество всех потоков в системе. В приоритете сделать это с помощью встроенных библиотек, но альтернативные варианты тоже подойдут. Помогите пожалуйста, заранее спасибо!
0
голосов
1
ответ
21
показ
Проблема с заморозкой цикла
Суть вопроса в следующем - функция main постоянно проверяет базу данных на предмет изменения значений. Далее при определённом условии должна запускать функцию logic. Она её запускает, но в тот же ...
0
голосов
0
ответов
39
показов
Multiprocessing. При запуске одновременно двух браузеров, второй стоит в ожидании
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time
import json
import os
import sys
from multiprocessing ...
0
голосов
1
ответ
79
показов
aiogram отправка сообщения в отдельном потоке
Есть такой вот код, который запускает бота и отдельный поток с функцией.
import time
from classes.Bot import dp, on_startup, on_shutdown
from aiogram import executor
from multiprocessing import ...
0
голосов
0
ответов
16
показов
multiprocessing. Как сделать задержку между Pool процессами
Проблема заключается в том что если процессы срабатывают одновременно то код начинает криво работать. Поэтому нужна задержка перед началом работы, либо в самой функции.
import multiprocessing as mp
...
0
голосов
1
ответ
20
показов
Почему ThreadPoolExecutor работает на MacOS, но перестает работать на Linux
Я столкнулся с проблемой
Я распараллелил процессы с помощью ThreadPoolExecutor
Вот пример:
with concurrent.futures.ThreadPoolExecutor() as executor:
executor.map(self.process_by_label, self....
0
голосов
1
ответ
74
показа
Как продолжить код после блоки if __name__ == '__main__'
Мне нужно, чтобы код, который находится после блока if __name__ == '__main__' запускался, только после того, как блок if __name__ == '__main__' выполнит свои задачи. Но я столкнулся с тем, что в ...
0
голосов
1
ответ
56
показов
BeautifulSoup и threading/multiprocessing
Мне нужно пройтись по двумерному массиву, в котором содержаться ссылки и совершить определенное действие с ссылками с этого массива через BeautifulSoup и добавить определенной элемент в тот подмассив, ...
0
голосов
1
ответ
18
показов
Как передать данные основному процессу, чтобы GUI не зависало?
У меня есть код, который циклически обновляет окно (таймер), также каждую секунду происходит длинное действие, которое замораживает графический интерфейс. Мне нужно передавать информацию из процесса/...
0
голосов
2
ответа
57
показов
python multiprocessing
import time
from random import randint
import os
from datetime import datetime
from multiprocessing import Process, current_process
def gat(number):
result = number * 2
proc_name = ...
0
голосов
0
ответов
19
показов
Скрипт не запускается из функции
Скрипт ниже, работает без проблем
if __name__ == '__main__':
parser = argparse.ArgumentParser(description="simple deep nude script tool")
parser.add_argument("-i", "--...
0
голосов
0
ответов
40
показов
Как получить данные из основного процесса в дочернем?
Есть основной процесс Main. В нем вызывается другой процесс ChildMain. Я хочу организовать обмен данным между процессами, я могу передать из Main данные через getOutputStream(), но как эти данные ...
0
голосов
1
ответ
53
показа
Aiogram остановка бота на момент парсинга. Multiprocessing. Async
Мне нужно с высокой скорость парсить сайт. Для этого я использовал multiprocessing и aiohttp. При запуске парсинга, бот стопорится. Полагаю, проблема где-то в этом участке кода, помогите разобраться. ...
0
голосов
0
ответов
217
показов
Проблема при сохранении данных через Pool.map
Как я понял после выполнения функции сохраняется только те данные которые идут от 1 процесса, а второй процесс не сохраняет данные.
import csv
import json
import time
from selenium import webdriver
...
0
голосов
1
ответ
47
показов
Как распределить вычисления функции для 50 датафреймов pandas по 8 ядрам процессора?
Последовательная реализация:
import pandas as pd
import numpy as np
np.random.seed(0)
a = {} # Словарь для датафреймов
def func(dataset,prm):
dataset['func'] = dataset.quantile(prm)
for i in ...
0
голосов
0
ответов
17
показов
Почему python скрипт блокируется/зависает при установки события (Event) в true для multiprocessing?
Начал было переписывать парсер с многопоточности в мультипроцессорность, споткнулся.
Код должен изящно останавливаться по команде sigterm, но он этого не делает, если Event класс берется из ...
0
голосов
1
ответ
166
показов
python - 2 цикла while true одновременно
Как одновременно запустить 2 связанных цикла while true?
Первый цикл - отвечает за бота, а второй - за небольшую консоль, команды из которой должны влиять на первый цикл.
0
голосов
1
ответ
48
показов
Декоратор воркера и мультипроцессинг на python
upd.
Всем привет. Данный декоратор должен выполнять некую функцию, пока выполняется декодируемая функция.
Однако, есть проблемный случай.Проблема возникает со значения int_range >= 13150 в ...
1
голос
0
ответов
95
показов
Как сделать так чтобы бот выносил функцию обработки в отдельный поток и не стопил при этом всего бота Aiogram [закрыт]
def work_with_img(image, var):
image = np.array(image/255, dtype=float)
noise = np.random.normal(0, var ** 0.5, image.shape)
out = image + noise
out = np.clip(out, 0, 1.0)
out = np....
0
голосов
1
ответ
326
показов
Запуск несколько ассинхронных функций вместе на python
День добрый! Задача состоит в том, чтобы запустить несколько асинхронных функции разом.
Сейчас у меня только две функции: первая открывает сокет и непрерывно получает данные из этого соединения; ...
1
голос
0
ответов
39
показов
PyInstaller: multiprocessing ведёт себя странно
Код:
from multiprocessing import Process
def test():
print("b")
if __name__ == "__main__":
print("a")
p = Process(target=test)
p.start()
Когда я ...
0
голосов
1
ответ
1k
показов
Как исправить ошибку с missing 1 required positional argument: 'self'?
Я написал код для поиска обалютно одинаковых фото, сейчас пытаюсь его оптимизировать, решил сделать через класс, чтоб удобней было работать с multiprocessing и в следствии чего вылезла ошибка: ...
0
голосов
1
ответ
24
показа
Не работает Queue в Google Colab
Столкнулся с такой проблемой, что приведенный ниже код нормально работает в pycharm, но его никак не получается запустить в Google Colab. Не происходит добавления передаваемого элемента в очередь в ...
-1
голос
1
ответ
114
показов
Как реализовать прибавление значения AioGram?
Есть телеграм бот написанный на Python и AioGram. Каждую секунду пользователю необходимо прибавлять некое число в базу данных.
Логика работы простая:
Бот забирает старое значение из БД.
Прибавляет к ...
0
голосов
0
ответов
6
показов
Selenium не находит элемент в мультипотоке
При запуске кода в мультипотоке не трогая положения окон периодически селениум не находит элемен хотя он там есть, при сдвиге окон ошибка о ненахожденииэлемента сразу пропадает.
Как можно пофиксить ...
0
голосов
1
ответ
51
показ
Python, выполнить шелл-код в отдельном процессе и получить ответ
3дpacтвуйте, вообщем идея такова: выполнить шелл-код в отдельном процессе и получить ответ. Я уверен что данный вопрос является дубликатом, но я не могу найти код.
Я пробовал реализовать это таким ...
1
голос
0
ответов
38
показов
Как правильно запустить фоновую задачу внутри класса
Я новичок в программировании python
Есть такой код, он инициализирует два класса, которые в фоне обрабатывают какие-то данные, а основной поток в это же время реагирует на команды от пользователя в ...
0
голосов
0
ответов
99
показов
фиксированное значение переменной
Подскажите пожалуйста, как сделать так, чтобы из file брались тикеры, поочередно подставлялись в symbol, собирали информацию и сохраняли все в Excel. При этом, чтобы данные input из exchange и ...
0
голосов
0
ответов
20
показов
Как сделать чтобы все артикулы распределялись по фильтрам?
Код:
import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook
import time
from multiprocessing import Pool
import multiprocessing
import json
start_time = time.time()
wb = Workbook()...
0
голосов
1
ответ
78
показов
Как сохранять файл в openpyxl в мультипроцессорности?
Код:
from multiprocessing import Pool
from openpyxl import Workbook
import requests
from bs4 import BeautifulSoup
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...
0
голосов
1
ответ
53
показа
Почему xlsx файл пустой?
Код:
import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook
import time
from multiprocessing import Pool
import multiprocessing
start_time = time.time()
wb = Workbook()
wb.remove(...
0
голосов
0
ответов
97
показов
Как реализовать многопроцессорность при создании бота на python?
Я работаю над ботом на питоне, для телеграмма. На определённом этапе мне нужно выполнить функцию которая выполняется от 1-2 минут. Если я просто её запущу то бот встанет и не сможет обрабатывать ...
0
голосов
2
ответа
34
показа
Помогите разобраться с многопроцессорностью
import requests
from multiprocessing import Pool
headers =0
cookies = 0
def get_data(url,headers, cookies):
r = requests.get(url)
print('1')
if __name__ == '__main__':
p = Pool(processes=...
0
голосов
0
ответов
20
показов
Как добавить multiproccesing в парсер?
import grequests
from bs4 import BeautifulSoup
from openpyxl import Workbook
import time
from multiprocessing import Pool
import multiprocessing
start_time = time.time()
wb = Workbook()
wb.remove(wb....
0
голосов
2
ответа
255
показов
Multiprocessing, selenium. Не могу закрыть ненужные браузеры после завершения цикла
Не могу закрыть ненужные браузеры после завершения цикла!
os.system("taskkill /pid chromedriver.exe /f") - решает проблему, но, когда цикл идет по второму кругу, он выдает ошибки типа [...
0
голосов
0
ответов
15
показов
как закрыть веб драйверы при multiprocessing
В фоновом режиме остаются процессы которые мне хотелось бы закрыть после того как цикл пройдет по всем ссылка.
У меня есть 20 ссылок, есть 5 процессов в фоновом режиме. Есть функция внутри которой ...
1
голос
1
ответ
178
показов
python tkinter+threading/multiprocessing
Наверняка этот вопрос несколько вас смутит, так как скорее всего я ходил вокруг да около решения.
(принципиальной разницы в Python отсутствует, просто я пользуюсь Python 3.9)
Суть программы:
Tkinter ...
0
голосов
1
ответ
56
показов
Распределение задач по процессам python multiprocessing
У меня есть задача: По названию найти кучу youtube видео (пишу discord бота). Для этого я использую youtubesearchpython, но обработка 100 песен может затянуться +- на 2 минуты, что меня не устраивает, ...
0
голосов
1
ответ
56
показов
Многопроцессорная программа съедает все ресурсы компьютера в exe
Написал многопроцессорную программу. В pycharm все работает отлично, но как закинул в exe с пмощью pyinstaller программа стала съедать всю оперативу и цп, импльзую метод pool, пробовал уменьшить ...
1
голос
0
ответов
38
показов
Почему потоки выдают пустой список?
Не знаю где именно ошибка, поэтому выложил весь код, он должен обрабатывать сообщения в gmail ящике, отсортировать и выдать в конце отсортированный массив. Поскольку ему нужно обрабатывать 25000 ...
0
голосов
1
ответ
56
показов
Можно ли соединить информацию из разных процессов в 1 список
Необходимо объединить списки из 4 процессов в 1, возможно ли это и как это сделать?
if __name__ == '__main__':
cpus = multiprocessing.cpu_count()
if length % cpus == 0:
pass
...
1
голос
1
ответ
71
показ
Как запустить asyncio код отдельно от общего event loop'a?
Есть бот в телеграмме, который парсит сайт, на каждого пользователя создается по 40-60 тасков (для каждого элемента который надо обработать),с большим количеством пользователей бот начинает тормозить, ...