Есть сайт с базой предприятий. Все с него можно получить без проблем, кроме самого главного - контактного номера телефона. Для этого нужно пройти авторизацию и нажать на кнопку "Показать телефон" в каждой карточке компании.
Прошел авторизацию Селеном, дошел до первой карточки в каталоге, номер показало. Но не знаю как в таком случае переход выполнить к последующим карточкам, да еще и так, чтоб постоянно не проходить авторизацию. Так же есть список ссылок, полученный заранее. Так же не могу его прикрутить к коду, чтоб по нему проходиться в рамках одной авторизации. в XHR Api найти не могу, по ответам результата тоже нет. Вот код на данный момент:
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import undetected_chromedriver.v2 as uc
from bs4 import BeautifulSoup
url = 'https://5140.org/fops/page-1'
host = 'https://5140.org'
options = uc.ChromeOptions()
options.add_argument("--start-maximized")
driver = uc.Chrome(version_main=104, options=options)
wait = WebDriverWait(driver, 10)
driver.get(url)
time.sleep(5)
page = driver.page_source
soup = BeautifulSoup(page, 'lxml')
boxes = soup.find_all('div', class_='table-responsive clearfix')
for gb in boxes:
green_boxes = gb.find_all('tr', class_='green')
for l in green_boxes:
links = host + l.find('td', class_='font-weight-bold text-primary p').find('a').get('href')#ссылка на карточку
driver.get(links) #Переходит к первой ссылке
auth_btn = driver.find_element(By.CSS_SELECTOR, 'body > header > div > div > noindex > div > button').click()#кнопка авторизации
login = driver.find_element(By.ID, 'loginform-email')
password = driver.find_element(By.ID, 'loginform-password')
time.sleep(3)
login.send_keys('mail@mail.ua')
time.sleep(2)
password.send_keys('password')
time.sleep(3)
input_btn = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#form-login-submit > div > button'))).click()#Кликает на кнопку "Войти"
time.sleep(10)
element_phn = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'body > main > section.section-md-80.page > div > div.offset-top-14 > div:nth-child(2) > div > div > div:nth-child(6) > div > div.unit-body > a'))).click() #нажать на кнопку "Показать номер"
time.sleep(10)
driver.quit()
driver.close()
Возможно, кто-то подскажет каким способом вытащить нужную инфу, или тыкнет носом в XHR, я в упор не вижу нужных данных.
Спасибо