1

У меня телеграм бот, который парсит и собирается инфу по введенным ключевым словам, процесс парсинга занимает около 20 секунд. Если много пользователей запустят парсер, то он будет их обрабатывать их всех по очереди. А это например, если 20 человек одновременно введут ключевые слова, то последний будет ждать целых 6 минут, что очень долго

Вопрос: возможно ли запустить парсер (открыть новый webdriver окно), и парсить по новым ключевым словам, пока не завершится предыдущей парсинг по предыдущем введенным данным, и если да, то как-то ограничить количество, чтобы не нагружать машину?

1 ответ 1

1

Да, Вы можете запустить несколько экземпляров WebDriver'а Selenium, каждый в своем потоке, чтобы параллельно обрабатывать запросы пользователей. Это позволит ускорить процесс и обеспечить более быстрый ответ на запросы пользователей.

Вот общее решение, интегрируйте его в своем программном коде и все должно быть быстро и качественно, насколько это позволит Ваша машина :)

from selenium import webdriver
from threading import Thread
from queue import Queue
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# Создаем очередь заданий
tasks_queue = Queue()

# Определяем функцию, которая будет запускаться в потоке
def run_worker():
    while True:
        # Получаем задание из очереди
        task = tasks_queue.get()
        if task is None:
            # Если заданий больше нет, выходим из цикла
            break

        # Создаем экземпляр WebDriver'а
        options  = webdriver.ChromeOptions()
        options.add_argument('--headless')  # Опция запуска браузера в фоновом режиме
        options.add_argument('--disable-gpu')  # Опция отключения использования GPU
        driver = webdriver.Chrome(options=options)

        # Здесь выполняем парсинг с помощью WebDriver'а
        # Например, парсим страницу по заданной ссылке
        driver.get(task)
        wait = WebDriverWait(driver, 10)
        element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "p")))
        results = driver.find_elements(By.CSS_SELECTOR, 'p')

        # Выводим результаты в терминал, у Вас это может быть другая реализация
        print(f"Результаты парсинга по ссылке {task}:")
        for result in results:
            print(result.text)
        print()

        # Закрываем экземпляр WebDriver'а
        driver.quit()

        # Сообщаем очереди, что задание выполнено
        tasks_queue.task_done()

# Создаем и запускаем несколько потоков
num_workers = 4
for i in range(num_workers):
    t = Thread(target=run_worker)
    t.start()

# Добавляем задания в очередь
urls = ['https://ru.stackoverflow.com/questions']
for url in urls:
    tasks_queue.put(url)

# Дожидаемся завершения всех заданий
tasks_queue.join()

# Останавливаем все потоки
for i in range(num_workers):
    tasks_queue.put(None)
2
  • Очень благодарен! 18 фев 2023 в 15:21
  • Успехов в Вашем проекте :)
    – M141
    18 фев 2023 в 15:21

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.