Сохраняю страницу с помощью Selenium'а
with open("source-page.html", "w") as file:
file.write(driver.page_source)
get_items_urls("source-page.html")
Все ок, файл имеет 12к строк
При открытии этого файла BeatifulSoup'ом в формате lxml получаю 5к строк исходного файла вместо 12к и в итоге получаю не всю информацию...
def get_items_urls(file_path):
with open(file_path) as file:
src = file.read()
soup = BeautifulSoup(src, "lxml")
items_divs = soup.find_all("div", class_="info")
urls = []
for item in items_divs:
item_url = item.find("div", class_="labeled name").find("a").get("href")
urls.append(item_url)
Погуглив я так понимаю есть какая то настройка для BeatifulSoup'а или lxml
huge_tree=True
Если это то что нужно, то подскажите пожалуйста правильный синтаксис