0

Сохраняю страницу с помощью Selenium'а

    with open("source-page.html", "w") as file:
        file.write(driver.page_source)
    get_items_urls("source-page.html")

Все ок, файл имеет 12к строк

При открытии этого файла BeatifulSoup'ом в формате lxml получаю 5к строк исходного файла вместо 12к и в итоге получаю не всю информацию...

def get_items_urls(file_path):
    with open(file_path) as file:
        src = file.read()

    soup = BeautifulSoup(src, "lxml")
    items_divs = soup.find_all("div", class_="info")
    urls = []
    for item in items_divs:
        item_url = item.find("div", class_="labeled name").find("a").get("href")
        urls.append(item_url)

Погуглив я так понимаю есть какая то настройка для BeatifulSoup'а или lxml

huge_tree=True

Если это то что нужно, то подскажите пожалуйста правильный синтаксис

1 ответ 1

0

Решил проблему тем что использовал вместо lxml - html.parser

soup = BeautifulSoup(src, "html.parser")

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.