3

Не могу разобраться, как запустить webdriver в несколько потоков.

Хочу парсить два сайта одновременно. Есть список ean выглядит однопоточно, это выглядит так

    def labirint(eanlist):
        pricelist = []
        for ean in eanlist:
            try:
                driver.get("http://www.labirint.ru/search/" + ean + "/?labsearch=1")            
                time.sleep(1)
                labirintBookState(driver)
                if driver.find_element_by_xpath(labirint_xpath_state).is_displayed():
                    x = driver.find_element_by_xpath(labirint_xpath)
                    price_int = int(x.text)
                    pricelist.append(price_int)
                else:
                    pricelist.append("")
            except:
                pricelist.append("")
        return pricelist

    def chitayGorod(eanlist):
        chitay_gorod_pricelist = []
        for ean in eanlist:
            try:

                driver.get("https://www.chitai-gorod.ru/search/result/?q=" + ean + "&page=1")
                time.sleep(1)
                if driver.find_element_by_xpath(chitay_gorod_xpath).is_displayed():
                    price = driver.find_element_by_xpath(chitay_gorod_xpath)
                    price_int = int(re.search(r'\d+', price.text).group())
                    chitay_gorod_pricelist.append(price_int)
                else:
                    chitay_gorod_pricelist.append("")
            except:
                chitay_gorod_pricelist.append("")
        return chitay_gorod_pricelist

option = webdriver.ChromeOptions()
chrome_prefs = {}
option.experimental_options["prefs"] = chrome_prefs
chrome_prefs["profile.default_content_settings"] = {"images": 2}
chrome_prefs["profile.managed_default_content_settings"] = {"images": 2}

driver = webdriver.Chrome(executable_path='C:\priceUpdater\ChromeDriver\chromedriver.exe', chrome_options=option)


if __name__ == "__main__":
    list_ean = getFileEan()

    labirint = labirint(list_ean)
    chitayGorod = chitayGorod(list_ean)
    print(datetime.now() - startTime)
    print("ok!")

Методы в цикле пробегаются по сайтам и собирают данные.

Как мне реализовать, чтобы два процесса driver загружались одновременно и один парсил chitayGorod, а другой labirint ?

Попробовал, то что находил в интернете по этой теме и ничего подходящего не нашел.

4
  • 1
    Попробовал, то что находил в интернете по этой теме и ничего подходящего не нашел - ваши попытки стоило добавить в вопрос, а то на данный момент получается, что есть две функции, которые должны работать параллельно/асинхронно, но никаких попыток это реализовать нет.
    – user207200
    19 мар 2019 в 7:19
  • По-моему, selenium не умеет работать с разными вкладками одновременно. Тут либо последовательно парсить сначала первую страницу, затем вторую, либо запускать 2 драйвера параллельно и каждый парсит свою страницу. Если нужно, могу подсказать, как реализовать второй вариант. 19 мар 2019 в 7:33
  • @МихаилМуругов Можете показать как? Я думаю можно запустить, под каждое ядро по процессу.
    – shatoidil
    19 мар 2019 в 8:48

1 ответ 1

6

Решение с использованием многозадачности:

from multiprocessing import Pool

def labirint(eanlist):
    option = webdriver.ChromeOptions()
    chrome_prefs = {}
    option.experimental_options["prefs"] = chrome_prefs
    chrome_prefs["profile.default_content_settings"] = {"images": 2}
    chrome_prefs["profile.managed_default_content_settings"] = {"images": 2}
    #Запускаем драйвер в одном процессе
    driver = webdriver.Chrome(executable_path='C:\priceUpdater\ChromeDriver\chromedriver.exe', chrome_options=option)
    #Остальной код из labirint()

def chitayGorod(eanlist):
    option = webdriver.ChromeOptions()
    chrome_prefs = {}
    option.experimental_options["prefs"] = chrome_prefs
    chrome_prefs["profile.default_content_settings"] = {"images": 2}
    chrome_prefs["profile.managed_default_content_settings"] = {"images": 2}
    #Запускаем драйвер в другом процессе
    driver = webdriver.Chrome(executable_path='C:\priceUpdater\ChromeDriver\chromedriver.exe', chrome_options=option)
    #Остальной код из chitayGorod()

if __name__ == "__main__":
    list_ean = getFileEan()
    with Pool() as pool:
        #Pool.map() принимает имя функции и итерируемое множество (список, например) аргументов, для которой она будет выполняться
        labirint = pool.map(labirint, [list_ean])[0]
        #И возвращает список значений для каждого аргумента
        chitayGorod = pool.map(chitayGorod, [list_ean])[0]
        #Так как аргумент всего один, то вернётся список с 1 элементом, для его извлечения и используем [0]
        pool.close()
        pool.join()

Обратите внимание, что у Вас совпадают названия функций и переменных, что не есть хорошо. Также будут рад комментариям от других участников, ибо многозадачность в Python начал изучать буквально вчера, всех тонкостей ещё не знаю.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.