1

У меня телеграм бот, который парсит и собирается инфу по введенным ключевым словам, процесс парсинга занимает около 20 секунд. Если много пользователей запустят парсер, то он будет их обрабатывать их всех по очереди. А это например, если 20 человек одновременно введут ключевые слова, то последний будет ждать целых 6 минут, что очень долго

Вопрос: возможно ли запустить парсер (открыть новый webdriver окно), и парсить по новым ключевым словам, пока не завершится предыдущей парсинг по предыдущем введенным данным, и если да, то как-то ограничить количество, чтобы не нагружать машину?

1 ответ 1

1

Да, Вы можете запустить несколько экземпляров WebDriver'а Selenium, каждый в своем потоке, чтобы параллельно обрабатывать запросы пользователей. Это позволит ускорить процесс и обеспечить более быстрый ответ на запросы пользователей.

Вот общее решение, интегрируйте его в своем программном коде и все должно быть быстро и качественно, насколько это позволит Ваша машина :)

from selenium import webdriver
from threading import Thread
from queue import Queue
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# Создаем очередь заданий
tasks_queue = Queue()

# Определяем функцию, которая будет запускаться в потоке
def run_worker():
    while True:
        # Получаем задание из очереди
        task = tasks_queue.get()
        if task is None:
            # Если заданий больше нет, выходим из цикла
            break

        # Создаем экземпляр WebDriver'а
        options  = webdriver.ChromeOptions()
        options.add_argument('--headless')  # Опция запуска браузера в фоновом режиме
        options.add_argument('--disable-gpu')  # Опция отключения использования GPU
        driver = webdriver.Chrome(options=options)

        # Здесь выполняем парсинг с помощью WebDriver'а
        # Например, парсим страницу по заданной ссылке
        driver.get(task)
        wait = WebDriverWait(driver, 10)
        element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "p")))
        results = driver.find_elements(By.CSS_SELECTOR, 'p')

        # Выводим результаты в терминал, у Вас это может быть другая реализация
        print(f"Результаты парсинга по ссылке {task}:")
        for result in results:
            print(result.text)
        print()

        # Закрываем экземпляр WebDriver'а
        driver.quit()

        # Сообщаем очереди, что задание выполнено
        tasks_queue.task_done()

# Создаем и запускаем несколько потоков
num_workers = 4
for i in range(num_workers):
    t = Thread(target=run_worker)
    t.start()

# Добавляем задания в очередь
urls = ['https://ru.stackoverflow.com/questions']
for url in urls:
    tasks_queue.put(url)

# Дожидаемся завершения всех заданий
tasks_queue.join()

# Останавливаем все потоки
for i in range(num_workers):
    tasks_queue.put(None)
2
  • Очень благодарен! 18 фев в 15:21
  • Успехов в Вашем проекте :)
    – M141
    18 фев в 15:21

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.