Есть парсер:
class AppWindow(QtWidgets.QMainWindow):
def __init__(self):
QtWidgets.QMainWindow.__init__(self)
#...
def start(self):
self.thread1 = parser()
t = threading.Thread(target=self.thread1.run)
t.daemon = True
t.start()
#...
class parser(QtCore.QThread):
def __init__(self):
super(parser, self).__init__()
QtCore.QThread.__init__(self)
#...
def run(self):
#...
data = [...]
queue = mp.Queue()
for i in data:
queue.put(i)
processes = [mp.Process(target = parse_data, args=(queue)) for i in range(10)]
for process in processes:
process.daemon = True
process.start()
#...
def parse_data(data):
for elem in data:
def parse_elem(elem):
#...
html = Client(elem['url'])
#...
p = ThreadPool(processes = 1)
try:
p_result = p.apply_async(parse_elem, (elem))
res = p_result.get(timeout=60) # поток создаётся только для того, чтобы установить таймаут на выполнение
p.terminate()
p.close()
except:
#...
class Client(QWebEnginePage): # source: https://stackoverflow.com/questions/8049520/web-scraping-javascript-page-with-python#answer-51341435
def __init__(self, url):
global app
print(url)
self.app = QApplication(sys.argv)
QWebEnginePage.__init__(self)
self.html = ""
self.loadFinished.connect(self.on_load_finished)
self.load(QUrl(url))
self.app.exec_()
def on_load_finished(self):
self.html = self.toHtml(self.Callable)
def Callable(self, data):
self.html = data
self.app.quit()
def main():
mp.freeze_support()
app = QtWidgets.QApplication(sys.argv)
appwindow = AppWindow()
appwindow.show()
sys.exit(app.exec_())
if __name__ == "__main__":
main()
Но вызов Client
не работает, возвращая ошибку: WARNING: QApplication was not created in the main() thread.
. Ещё не полностью разобрался, как всё устроено. Можно ли заставить Client
работать?
self.app = QApplication(sys.argv)
? Думаю проблема в том, чтоQApplication
у вас больше чем 1. Да и странно, зачем вам его создавать в отдельном потоке? – gil9red 1 авг '18 в 17:13__main__
. Просто, не знаю зачем вам еще нужно – gil9red 1 авг '18 в 17:16self.app
? – XxX 1 авг '18 в 17:24self.app = QApplication.instance()
. Но я не понимаю зачем вам это нужно. Можете объяснить? Может вам нужен не QApplication, а QCoreApplication? – gil9red 1 авг '18 в 17:27