Я пытаюсь спарсить сайт https://www.rlsnet.ru/drugs/ukazatel/c0, в данном случае - побочные действия лекарств. Они хранятся в теге p с классом OPIS_POLE. Таких элементов на странице много, но выводится у меня почему-то только адрес, который вообще в конце. Пыталась брать элемент по индексу, но в любом случае выводится только адрес.
Как это можно исправить?
В комментариях способ с селениумом, который я тоже пробовала (работает медленней, но результат тот же).
options = Options()
executable_path = os.path.join(os.getcwd(), 'chromedriver', 'chromedriver.exe')
driver = webdriver.Chrome(options=options,
service=Service(executable_path=executable_path))
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.get("https://www.rlsnet.ru/drugs/ukazatel/c0")
time.sleep(3)
links = []
links_scope = driver.find_elements(By.CSS_SELECTOR, 'a.link')
for one_link in links_scope:
links.append(one_link.get_attribute('href'))
for link in links[2:]:
try:
driver.get(link)
time.sleep(3)
wait = WebDriverWait(driver, 10)
#opis_pole = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'div.break-word > p.OPIS_POLE'))).text
opis_pole = soup.find_all('p', class_='OPIS_POLE')
print(opis_pole)