Пишу парсер на Selenium.
В начале парсер проходит по страницам с проектами (20 штук на странице), сохраняем все это в список (около 2к ссылок).
Затем по очереди проходим по всем им и парсим 3 параметра и заносим в список словарей.
При этом Firefox потребляет немереное количество ОЗУ - около 8 Гбайт, хотя у Chrome все в порядке с этим.
Может кто подсказать, с чем это связано?
Прилагаю код:
all_develops = []
def parse_list_develops(driver):
urls_develop = []
driver.get("https://www.hurriyetemlak.com/projeler/developers")
print("Ожидание 6 секунд. Обход защиты")
time.sleep(6)
while True:
time.sleep(2)
#Ищем ссылки на проекты:
a_list_develop = driver.find_elements_by_css_selector("div.b-developer__logo-wrap > a")
for a in a_list_develop:
href = a.get_attribute("href")
print("Ссылка на проект", href)
urls_develop.append(href)
#Блок пагинации
try:
pagination_block = WebDriverWait(driver, 10).until(EC.visibility_of_element_located(
(By.CSS_SELECTOR, "span.b-pagination__item.b-pagination__item--next.js-pagination-next")))
pagination_block.click()
print("Перешли на следующую страницу")
except Exception as e:
try:
print("Проверка наличия всплываюшего окна")
button_close = driver.find_element_by_css_selector("button.b-button.b-button--full.b-button--confirm")
time.sleep(2)
button_close.click()
time.sleep(2)
print("Окно закрыли")
pagination_block = WebDriverWait(driver, 10).until(EC.visibility_of_element_located(
(By.CSS_SELECTOR, "span.b-pagination__item.b-pagination__item--next.js-pagination-next")))
pagination_block.click()
print("Нажатие на pagination снова")
except Exception as e:
print("Pagination не найдены. Конец перехода между страницами", e)
break
return urls_develop, driver
def init_driver():
ff = "../install/geckodriver.exe"
try:
driver = webdriver.Firefox(executable_path=ff)
except SessionNotCreatedException:
print("Ошибка инициализации браузера. Скорее всего у вас не установлен браузер. Пожалуйста обратитесь к разработчику парсера")
return driver
def pasring_develops(driver, urls_develop):
# Блок парсинга проектов
for url in urls_develop:
print("Парсинг", url)
driver.get(url)
id_develop = get_index()
name = WebDriverWait(driver, 60).until(EC.visibility_of_element_located(
(By.CSS_SELECTOR, "h1.b-developer-combine-title__main-title"))).text.strip()
name_rus = get_translated_text(name)
try:
god = int(
driver.find_element_by_css_selector('div.b-developer-statistic__item[data-test="Foundation"]').text.strip())
except:
god = None
try:
desckription_turkey = driver.find_element_by_css_selector(
'div.b-developer__description-container.js-developer__description-container > p').text.strip()
desckription_rus = get_translated_text(driver.find_element_by_css_selector(
'div.b-developer__description-container.js-developer__description-container > p').text.strip())
except:
desckription_turkey = None
desckription_rus = None
logo_image = driver.find_element_by_css_selector('div.b-developer-logo > img').get_attribute('src')
temp = []
temp.append(["Id", id_develop])
temp.append(["Name", name])
temp.append(["Name RUS", name_rus])
temp.append(["Year foundation", god])
temp.append(["Image", logo_image])
temp.append(["Description", desckription_turkey])
temp.append(["Description RUS", desckription_rus])
all_develops.append(dict(temp))
print(id_develop, name, name_rus, logo_image, god, desckription_rus, desckription_turkey)
if __name__ == '__main__':
start = time.time()
driver = init_driver()
urls, driver = parse_list_develops(driver)
# print("Количество develop:", len(urls))
print("Количество ссылок:", len(urls))
print("Количество ссылок обновленных:",len(urls))
driver = pasring_develops(driver, urls)
Проблема возникает именно тогда, когда мы начинаем переходить по ссылкам. Каждая вновь открытая ссылка добавляем к потреблению около 10мб
v
под счётчиком голосов