1

Есть код который получает html код страницы сайта для дальнейшего парсинга этого кода.

Мне нужно получать код с этого сайта примерно каждые 15 секунд для того чтобы быстро узнать о появлении чего либо на сайте.

Мне его нужно поместить в цикл, то есть чтобы в цикле снова загружалась таже страница load(Qurl(url)) и я получал ее html код

Код:

from PyQt5.QtWebEngineWidgets import QWebEnginePage
from PyQt5.QtWidgets import QApplication
from PyQt5.QtCore import QUrl
import sys

url = 'https://www.google.com'

class Page(QWebEnginePage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebEnginePage.__init__(self)
        self.html = ''
        self.loadFinished.connect(self._on_load_finished)
        self.load(QUrl(url))
        self.app.exec_()

    def _on_load_finished(self):
        self.html = self.toHtml(self.Callable)

    def Callable(self, html_str):
        self.html = html_str
        self.app.quit()
html = Page(url).html

Если сделать так:

from PyQt5.QtWebEngineWidgets import QWebEnginePage
from PyQt5.QtWidgets import QApplication
from PyQt5.QtCore import QUrl
import sys

url = 'https://www.google.com'

class Page(QWebEnginePage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebEnginePage.__init__(self)
        self.html = ''
        self.loadFinished.connect(self._on_load_finished)
        self.load(QUrl(url))
        self.app.exec_()

    def _on_load_finished(self):
        self.html = self.toHtml(self.Callable)

    def Callable(self, html_str):
        self.html = html_str
        self.app.quit()

while 1:
    html = Page(url).html
    print(html)

То тогда после первой итерации цикла while код завершит свое выполнение с вот таким сообщением:

Process finished with exit code -1073741819 (0xC0000005)

Нет selenium мне не походит из за большого потребления ресурсов.

Я знаю о существовании requests, я его не использую из-за того что мне требуется чтобы на странице выполнялся javascript.

Сайт google.com взят как пример.

Код выше взят тут

2
  • 1
    пожалуйста, предоставьте минимальный воспроизводимый пример , который демонстрирует проблему и лучше расскажите что вы хотите сделать и о каком цикле вы говорите.
    – S. Nick
    3 июл 2021 в 23:04
  • @S.Nick Предоставил минимальный воспроизводимый пример и лучше объяснил что мне нужно сделать 4 июл 2021 в 7:42

1 ответ 1

0

Нельзя использовать в основном потоке циклы - это блокирует интерфейс.

В данном случае думаю QTimer вам подойдет.

import sys
from PyQt5 import QtCore, QtGui, QtWidgets
from PyQt5.QtWebEngineWidgets import QWebEnginePage
from PyQt5.QtWidgets import QApplication
from PyQt5.QtCore import QUrl


class Page(QWebEnginePage):
    def __init__(self, parent=None):
        QWebEnginePage.__init__(self)
        self.parent = parent
        self.html = ''
        self.loadFinished.connect(self._on_load_finished)
        
    def _on_load_started(self, url):
        #print(f'_on_load_started(self, url): {url}')    
        self.load(QUrl(url))

    def _on_load_finished(self):
        #print(f'_on_load_finished')
        self.html = self.toHtml(self.Callable)

    def Callable(self, html_str):
        self.html = html_str
        self.parent.textEdit.setText(self.html)
        #print(f'Callable(self, html_str):...')


class MainWindow(QtWidgets.QMainWindow):
    def __init__(self): 
        super().__init__()
        self.centralwidget = QtWidgets.QWidget()
        self.setCentralWidget(self.centralwidget)
        
        url = 'https://ru.stackoverflow.com/'
        
        self.textEdit = QtWidgets.QTextEdit()
        self.lineEdit = QtWidgets.QLineEdit(url)
        
        self.spinBox = QtWidgets.QSpinBox()
        self.spinBox.setMinimum(15 * 1000)
        self.spinBox.setMaximum(60 * 1000 * 5)
        self.spinBox.setSuffix("   -> msec  ")          
        self.spinBox.valueChanged.connect(self.value_changed)
                
        self.button = QtWidgets.QPushButton("Start")
        self.button.clicked.connect(self.on_clicked)
        
        self.layout = QtWidgets.QGridLayout(self.centralwidget)
        self.layout.addWidget(self.textEdit, 0, 0, 1, 3)
        self.layout.addWidget(self.lineEdit, 1, 0)
        self.layout.addWidget(self.spinBox, 1, 1)
        self.layout.addWidget(self.button, 1, 2)
        
        self.page = Page(self)
        
        self.timer = QtCore.QTimer()
        self.timer.setInterval(self.spinBox.value())
        self.timer.timeout.connect(self.showTime)

    def on_clicked(self):
        if self.button.text() == "Start":
            self.timer.start()
            self.button.setText("Stop")
        else:
            self.timer.stop()
            self.button.setText("Start")

    @QtCore.pyqtSlot(int)
    def value_changed(self, new_value):  
        self.timer.setInterval(new_value)
        
    def showTime(self):
        self.page._on_load_started(self.lineEdit.text())
    
        
if __name__ == '__main__':
    app = QtWidgets.QApplication(sys.argv)
    w = MainWindow()
    w.resize(400, 300)
    w.show()
    sys.exit(app.exec_())        

введите сюда описание изображения


Update

Мне не требуется интерфейс Все что мне нужно это получать html код сайта каждые 15 секунд.

Почувствуйте разницу

import sys
from PyQt5.QtWebEngineWidgets import QWebEnginePage
from PyQt5.QtWidgets import QApplication
from PyQt5.QtCore import QUrl, QTimer


url = 'https://www.google.com'

class Page(QWebEnginePage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebEnginePage.__init__(self)
        
        self.url = url
        self.html = ''
        self.loadFinished.connect(self._on_load_finished)
        
        self._load_url()                                             # +++
        self.app.exec_()
        
    def _load_url(self):                                             # +++       
        self.load(QUrl(self.url))
#        self.app.exec_()

    def _on_load_finished(self):
        self.html = self.toHtml(self.Callable)

    def Callable(self, html_str):
        self.html = html_str
        print(self.html)                                             # +++
        QTimer.singleShot(15 * 1000, self._load_url)                 # +++
        
#        self.app.quit()
        
#html = Page(url).html
html = Page(url)                                                     # +++
5
  • Мне не требуется интерфейс Все что мне нужно это получать html код сайта каждые 15 секунд 4 июл 2021 в 11:10
  • @ПавелЛядов я вам показал как каждые 15 секунд получать то что вам надо. Нужен вам интерфейс или не нужен - это решать вам, но я бы хорошо подумал об этом.
    – S. Nick
    4 июл 2021 в 11:37
  • @ПавелЛядов также обратите внимание, что я сделал для вас возможность остановки процесса, изменение интервала запроса, изменение урла и все это в режиме реального времени.
    – S. Nick
    4 июл 2021 в 11:57
  • @ПавелЛядов я добавил обновление в свой ответ, для того, чтобы вы увидели разницу.
    – S. Nick
    4 июл 2021 в 14:39
  • @ПавелЛядов что не так?
    – S. Nick
    7 июл 2021 в 11:54

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.