1

Пишу парсер на Selenium.

В начале парсер проходит по страницам с проектами (20 штук на странице), сохраняем все это в список (около 2к ссылок).

Затем по очереди проходим по всем им и парсим 3 параметра и заносим в список словарей.

При этом Firefox потребляет немереное количество ОЗУ - около 8 Гбайт, хотя у Chrome все в порядке с этим.

Может кто подсказать, с чем это связано?

Прилагаю код:

all_develops = []    
def parse_list_develops(driver):
    urls_develop = []
    driver.get("https://www.hurriyetemlak.com/projeler/developers")
    print("Ожидание 6 секунд. Обход защиты")
    time.sleep(6)

    while True:
        time.sleep(2)

        #Ищем ссылки на проекты:
        a_list_develop = driver.find_elements_by_css_selector("div.b-developer__logo-wrap > a")
        for a in a_list_develop:
            href = a.get_attribute("href")
            print("Ссылка на проект", href)
            urls_develop.append(href)

        #Блок пагинации
        try:
            pagination_block = WebDriverWait(driver, 10).until(EC.visibility_of_element_located(
                (By.CSS_SELECTOR, "span.b-pagination__item.b-pagination__item--next.js-pagination-next")))
            pagination_block.click()
            print("Перешли на следующую страницу")
        except Exception as e:
            try:
                print("Проверка наличия всплываюшего окна")
                button_close = driver.find_element_by_css_selector("button.b-button.b-button--full.b-button--confirm")
                time.sleep(2)
                button_close.click()
                time.sleep(2)
                print("Окно закрыли")
                pagination_block = WebDriverWait(driver, 10).until(EC.visibility_of_element_located(
                    (By.CSS_SELECTOR, "span.b-pagination__item.b-pagination__item--next.js-pagination-next")))
                pagination_block.click()
                print("Нажатие на pagination снова")
            except Exception as e:
                print("Pagination не найдены. Конец перехода между страницами", e)
                break

    return urls_develop, driver    




def init_driver():
        ff = "../install/geckodriver.exe"


        try:
            driver = webdriver.Firefox(executable_path=ff)
        except SessionNotCreatedException:
            print("Ошибка инициализации браузера. Скорее всего у вас не установлен браузер. Пожалуйста обратитесь к разработчику парсера")

        return driver

def pasring_develops(driver, urls_develop):
    # Блок парсинга проектов
    for url in urls_develop:
        print("Парсинг", url)
        driver.get(url)

        id_develop = get_index()

        name = WebDriverWait(driver, 60).until(EC.visibility_of_element_located(
                    (By.CSS_SELECTOR, "h1.b-developer-combine-title__main-title"))).text.strip()
        name_rus = get_translated_text(name)

        try:
            god = int(
            driver.find_element_by_css_selector('div.b-developer-statistic__item[data-test="Foundation"]').text.strip())
        except:
            god = None
        try:
            desckription_turkey = driver.find_element_by_css_selector(
            'div.b-developer__description-container.js-developer__description-container > p').text.strip()
            desckription_rus = get_translated_text(driver.find_element_by_css_selector(
            'div.b-developer__description-container.js-developer__description-container > p').text.strip())
        except:
            desckription_turkey = None
            desckription_rus = None

        logo_image = driver.find_element_by_css_selector('div.b-developer-logo > img').get_attribute('src')

        temp = []
        temp.append(["Id", id_develop])
        temp.append(["Name", name])
        temp.append(["Name RUS", name_rus])
        temp.append(["Year foundation", god])
        temp.append(["Image", logo_image])
        temp.append(["Description", desckription_turkey])
        temp.append(["Description RUS", desckription_rus])

        all_develops.append(dict(temp))
        print(id_develop, name, name_rus, logo_image, god, desckription_rus, desckription_turkey)



if __name__ == '__main__':
        start = time.time()
        driver = init_driver()
        urls, driver = parse_list_develops(driver)
        # print("Количество develop:", len(urls))
        print("Количество ссылок:", len(urls))

        print("Количество ссылок обновленных:",len(urls))
        driver = pasring_develops(driver, urls)

Проблема возникает именно тогда, когда мы начинаем переходить по ссылкам. Каждая вновь открытая ссылка добавляем к потреблению около 10мб

1
  • Если мой ответ Вам помог, обозначьте его, пожалуйста, как принятый нажатием на v под счётчиком голосов 2 мая 2019 в 20:58

1 ответ 1

2

Похоже, Firefox так увлечен выгрузкой страницы, что не останавливается и после возврата управления в скрипт из driver.get(url).

Один из вариантов решения проблемы, вставить в код pasring_develops (поправьте опечатку в имени функции):

time.sleep(2)

Посмотрите, сколько ему стоит спать, чтобы он успевал разобраться с загруженным.

Альтернативный вариант - загрузить несколько драйверов сразу и использовать в цикле по-очереди. Пока один трудится, остальные разбираются со своими сборщиками мусора.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.