0

Сохраняю страницу с помощью Selenium'а

    with open("source-page.html", "w") as file:
        file.write(driver.page_source)
    get_items_urls("source-page.html")

Все ок, файл имеет 12к строк

При открытии этого файла BeatifulSoup'ом в формате lxml получаю 5к строк исходного файла вместо 12к и в итоге получаю не всю информацию...

def get_items_urls(file_path):
    with open(file_path) as file:
        src = file.read()

    soup = BeautifulSoup(src, "lxml")
    items_divs = soup.find_all("div", class_="info")
    urls = []
    for item in items_divs:
        item_url = item.find("div", class_="labeled name").find("a").get("href")
        urls.append(item_url)

Погуглив я так понимаю есть какая то настройка для BeatifulSoup'а или lxml

huge_tree=True

Если это то что нужно, то подскажите пожалуйста правильный синтаксис

1 ответ 1

0

Решил проблему тем что использовал вместо lxml - html.parser

soup = BeautifulSoup(src, "html.parser")

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.