0

Я пытаюсь спарсить сайт https://www.rlsnet.ru/drugs/ukazatel/c0, в данном случае - побочные действия лекарств. Они хранятся в теге p с классом OPIS_POLE. Таких элементов на странице много, но выводится у меня почему-то только адрес, который вообще в конце. Пыталась брать элемент по индексу, но в любом случае выводится только адрес.

Как это можно исправить?

В комментариях способ с селениумом, который я тоже пробовала (работает медленней, но результат тот же).

options = Options()
executable_path = os.path.join(os.getcwd(), 'chromedriver', 'chromedriver.exe')
driver = webdriver.Chrome(options=options, 
service=Service(executable_path=executable_path))

soup = BeautifulSoup(driver.page_source, 'html.parser')

driver.get("https://www.rlsnet.ru/drugs/ukazatel/c0")
time.sleep(3)
links = []

links_scope = driver.find_elements(By.CSS_SELECTOR, 'a.link')

for one_link in links_scope:
    links.append(one_link.get_attribute('href'))

for link in links[2:]:
    try:
        driver.get(link)
        time.sleep(3)
        wait = WebDriverWait(driver, 10)
        #opis_pole = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'div.break-word > p.OPIS_POLE'))).text
        opis_pole = soup.find_all('p', class_='OPIS_POLE')
        print(opis_pole)
1
  • BeautifulSoup вам зачем? сначало driver.get() потом driver.page_source. 31 мар в 17:58

2 ответа 2

0

Вероятнее всего, проблема в том что страница динамическая, вы брали page_source сразу же после того как открываете страницу. Действительно, к чему вы пришли, взять код страницы спустя некоторое время является верным (Это можно сделать либо использовав time.sleep(), либо явное ожидание погрузки WebDriverWait(), а уже затем брать page_source)

0

Проблема была решена тем, что объект soup нужно поместить внутрь try, после загрузки ссылки :)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.