0

Есть сайт с базой предприятий. Все с него можно получить без проблем, кроме самого главного - контактного номера телефона. Для этого нужно пройти авторизацию и нажать на кнопку "Показать телефон" в каждой карточке компании. скрин

Прошел авторизацию Селеном, дошел до первой карточки в каталоге, номер показало. Но не знаю как в таком случае переход выполнить к последующим карточкам, да еще и так, чтоб постоянно не проходить авторизацию. Так же есть список ссылок, полученный заранее. Так же не могу его прикрутить к коду, чтоб по нему проходиться в рамках одной авторизации. в XHR Api найти не могу, по ответам результата тоже нет. Вот код на данный момент:

import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import undetected_chromedriver.v2 as uc
from bs4 import BeautifulSoup

url = 'https://5140.org/fops/page-1'
host = 'https://5140.org'

options = uc.ChromeOptions()
options.add_argument("--start-maximized")
driver = uc.Chrome(version_main=104, options=options)
wait = WebDriverWait(driver, 10)
driver.get(url)

time.sleep(5)

page = driver.page_source

soup = BeautifulSoup(page, 'lxml')
boxes = soup.find_all('div', class_='table-responsive clearfix')
for gb in boxes:
    green_boxes = gb.find_all('tr', class_='green')
    for l in green_boxes:
        links = host + l.find('td', class_='font-weight-bold text-primary p').find('a').get('href')#ссылка на карточку 

driver.get(links) #Переходит к первой ссылке

auth_btn = driver.find_element(By.CSS_SELECTOR, 'body > header > div > div > noindex > div > button').click()#кнопка авторизации
login = driver.find_element(By.ID, 'loginform-email')
password = driver.find_element(By.ID, 'loginform-password')
time.sleep(3)
login.send_keys('mail@mail.ua')
time.sleep(2)
password.send_keys('password')
time.sleep(3)
input_btn = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#form-login-submit > div > button'))).click()#Кликает на кнопку "Войти"
time.sleep(10)
element_phn = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'body > main >     section.section-md-80.page > div > div.offset-top-14 > div:nth-child(2) > div > div > div:nth-child(6) > div > div.unit-body > a'))).click() #нажать на кнопку "Показать номер"
time.sleep(10)

driver.quit()
driver.close()

Возможно, кто-то подскажет каким способом вытащить нужную инфу, или тыкнет носом в XHR, я в упор не вижу нужных данных.

Спасибо

1 ответ 1

0

Если на сайте нет кнопки "Запомнить меня", то ты можешь сохранить cookie (в файл или в переменную) и при переходи на страницу к запросу добавлять cookie. Либо вообще не пользоваться selenium, а просто взять и посмотреть куда отправляется запрос, когда ты нажимаешь на кнопку "Показать номер", и просто отправлять на этот URL curl запрос с cookie.

5
  • Кнопка «запомнить» есть. Но при переходе селеном на другую карточку, опять требуется авторизация. Куки кидал общей страницы. Опять же, при переходе в карточку - пнх. Запросы там идут на какой-то сервис, который дает ответ 403. Даже, если я найду нужный url, как мне в цикле перебрать все ссылки на карточки, кидая куки ?
    – AnKus
    20 авг 2022 в 18:38
  • Найди запрос и посмотри какие данные туда отправляются, там должен быть id предприятия. Ты можешь в цикле, брать ссылку предприятия, вычленять от туда id и отправлять на этот url id предприятия и куку 20 авг 2022 в 18:41
  • Вернулся к этому вопросу ... Запрос нашел, когда нажимаю "Показать номер". Он так и называется "request". Скопировал culr, взял оттуда cookies, headers, data. При чем в дата есть id. Вот он: 'data_type': 'phone', 'item_id': '2963621'. Делаю запрос на url и получаю 403. В браузере в network > xhr > response есть необходимый номер. Попытка сделать curl запрос : curl 5140.org/fops/request сообщает "SyntaxError: invalid syntax". Какая тут ошибка ?
    – AnKus
    23 авг 2022 в 15:05
  • Ошибка в синтаксисе, для более развернутого ответа нужен весь код 25 авг 2022 в 11:10
  • Что в синтаксисе, это понятно. Разобрался уже в каком. Вообще сайт не могу распарсить, хоть убейся. Если будет время, посмотрите на него, пожалуйста.
    – AnKus
    26 авг 2022 в 17:16

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.