3

использую Selenium и Chrome Driver, чтобы открывать две вкладки до нужной страницы и столкнулся вот с такой проблемой:

Во время прохода по страницам Chrome что-то сохраняет в озу и упорно не хочет это удалять, до того момента, пока не заполнит её полностью и не поломается(зависнет).

Я думал, что это кэш, что браузер запоминает все открытые за сессию вкладки и т.д. и т.п. поэтому чистил всё что только возможно очистить: кэш, куки, историю(пробовал и во время работы парсера); включал Disable cache и другие функции в Network, обнулял массивы, хранящие вкладки в коде, но ничего не помогло. Озу как заполнялась, так и продолжает. В итоге я уперся в +-250 записей в бд. А нужно спарсить Несколько тысяч.

Что делать?

скрин Диспетчера задач 1 скрин Диспетчера задач 2 скрин Диспетчера задач 3

2
  • Пробовал запускать браузер в headless mode? Пробовал отключать логи?
    – hoefling
    13 июн 2020 в 16:37
  • Я не очень шарю, но селениум и хром драйвер вроде подразумевают работу именно в headless chrome. Под отключением логов вы имеете в виду preserve log в inspect? Если да, то пробовал:(
    – MeinJunior
    13 июн 2020 в 19:44

1 ответ 1

1

Путём наблюдений стало понятно, что ОЗУ заполняется из-за Chromedriver.exe

Решением стало создание счетчика с перезапуском драйвера каждые n записей. Пример моего счетчика:

i = -1
for d in url:
    driver.get(d['href'])
    href_stat = d.get('href')
    i += 1
    print (i)

    if i == 20:
        driver.quit()
        chromedriver = "C:/Projects/parser/chromedriver"
        driver = webdriver.Chrome(chromedriver)
        driver.get(d['href'])
        i = 0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.