2

Не так давно писал парсер под сайт с использованием Selenium + Chrome. К сожалению его производительность оставляла лучшего. Я начал искать способы увеличения скорости работы. Посоветовали вместо Chrome использовать PhantomJS. Тот я парсер забросил.

Не давно начал писать новый парсер с PhantomJS. Код:

def init_driver():
    ff = "../../install/phantomjs"

    driver = webdriver.PhantomJS(executable_path=ff)
    return driver  

 def parse_url_list_games():    
    html = driver.get(url_main + str(1))
    navigation = driver.find_element_by_css_selector('div.search_pagination_right')
    print(navigation.text)

if __name__ == "__main__":
    start_time=time.time()
    current_time = time.time()
    driver = init_driver()
    print("Запуск",time.time()-current_time)
    current = time.time()
    parse_url_list_games()
    print("Парсинг:",time.time()-current)

Первое что меня смутило, это предупреждение:

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
  warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

Ну думаю, что все таки попробую, а если скорость парсинга маленькая, изменю браузер

Запрос одного url и парсинг 1 элемента занял у PhantomJS занял:

Запуск 3.0732614994049072
Парсинг: 12.73285436630249

Что-то долго, и сменил на Chrome без параметров:

def init_driver():
    ff = "../../install/chromedriver"
    driver = webdriver.Chrome(executable_path=ff)
    return driver

Скорость работы:

Запуск 1.1031429767608643
Парсинг: 7.084279537200928

Уже получше. Решил отключить изображения, для увеличения скорости загрузки страницы в Chrome:

def init_driver():
    ff = "../../install/chromedriver"
    chrome_option = webdriver.ChromeOptions()
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_option.add_experimental_option("prefs", prefs)
    driver = webdriver.Chrome(executable_path=ff, chrome_options=chrome_option)
    return driver

Результат:

Запуск 1.027407169342041
Парсинг: 5.874250411987305

Решил использовать браузер в headless:

chrome_option.add_argument("headless")

Результаты

Запуск 0.8883688449859619
Парсинг: 6.641388654708862

Результаты постоянно скачут от 6 и до 9секунд.

Воспользовался браузером Firefox:

Запуск 2.7269716262817383
Парсинг: 16.419891119003296

В режиме --headless

Запуск 2.8123791217803955
Парсинг: 9.039656162261963

В итоге я отказался от Firefox из-за проигрыша Chrome.

Вопросы:

  1. Почему Chrome c отключенной загрузкой картинок оказался быстрее чем он же в режиме headless
  2. Какие браузеры могут работать быстрее Chrome?
  3. Может есть другие способы написания парсера, где необходимо взаимодействие пользователя или если сайт написан на Javascript?

Первоначально писал на lxml, но на некоторых страницах необходимо подтвердить возраст, иначе на эту страницу не переходило, поэтому писал с помощью Selenium

6
  • Всегда можно посмотреть, какие HTTP-запросы отправляются и какие куки меняются при подтверждении возраста, и воссоздать те же самые действия в питоновом коде без браузеров и джаваскриптов
    – andreymal
    16 июл 2018 в 11:31
  • я до этого не работал с куками, но если мы мне поможете, буду благодарен. Использовал request, где можно работать с куками, а страница: store.steampowered.com/app/745960/A_Sky_Full_of_Stars
    – danilshik
    16 июл 2018 в 11:33
  • Там всего-навсего проставляется кука mature_content=1, после чего проверка возраста отключается. Как работать с куками, читайте в документации к используемым вами библиотекам
    – andreymal
    16 июл 2018 в 12:26
  • а как посмотреть куки? в Chrome я не нашел этого сайта в сохраненных куках?
    – danilshik
    16 июл 2018 в 12:40
  • В моём Firefox сайт отлично светится в сохранённых куках. А ещё всегда есть вкладка Сеть (Network) в инструментах разработчика, в которой можно посмотреть все HTTP-запросы и изменения кук
    – andreymal
    16 июл 2018 в 12:47

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.