0

Парсю сайт на питоне ссылка: https://www.copart.com/search/runanddrive/, и при переходе на другую страницу не изменяется url, как я понял выполняются AJAX - запросы, и они выполняются через XHR - запросы, когда я перехожу на другую страницу сайт отправляет XHR - запрос search, в этом запросе хранится какой - код, и в нём я увидел параметр page = 0, и при переходе на например вторую страницу он меняется на page = 1. Но я не понимаю как отправить запрос, чтобы у меня открылась следующая страница? 'Код страницы'

    from bs4 import BeautifulSoup
    import requests
    from selenium import webdriver
    from selenium.webdriver.support.ui import WebDriverWait

    URL = "https://www.copart.com/vehicle-search-featured/runanddrive"
    HEADERS = {
    "user-agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/92.0.4515.107 Safari/537.36",
    "accept": "*/*"
    }
 


    def selen(url, params = None):
    driver = webdriver.Chrome(executable_path = "C:/Users/пк/OneDrive/Рабочий 
    стол/Parser23/chromedriver.exe")
    driver.get(url)
    c = driver.page_source
    return c







    def get_content(html):
        cars = []
        soup = BeautifulSoup(html,"html.parser")
        items = soup.find("div", class_ = "dataTables_wrapper form-inline dt-bootstrap no- 
        footer").find("tbody").find_all("tr", {"role" : "row"})
        for item in items:
            Retail_Value = item.find("span", {"data-uname" : 
            "lotsearchLotestimatedretailvalue"})  
            link = item.find("a", class_ = "search-results")
            Sale_Date = item.find("span", {"data-uname" : "lotsearchLotauctiondate"})
            if link:    
                link = link.get("href")
            if Retail_Value:
                Retail_Value = Retail_Value.get_text(strip = True)
            else:
                Retail_Value = "Цены нет" 
            if Sale_Date:
                Sale_Date = Sale_Date.get_text(strip = False)
            else:
                Sale_Date = "Цены нет!"
            cars.append({
                "Lot# / link": f'{item.find("a", {"data-uname" : 
                "lotsearchLotnumber"}).get_text(strip = True)} / {link}',
                 "Year": item.find("span", {"data-uname" : 
                 "lotsearchLotcenturyyear"}).get_text(strip = True),
                 "Make": item.find("span", {"data-uname" : "lotsearchLotmake"}).get_text(strip 
                 = True),
                 "Model": item.find("span", {"data-uname": 
                 "lotsearchLotmodel"}).get_text(strip = True),
                 "Item#": item.find("span", {"data-uname": 
                 "lotsearchItemnumber"}).get_text(strip = True),
                 "Location/lane/ row": f'{item.find("span", {"data-uname" : 
                 "lotsearchLotyardname"}).get_text(strip = True)}/{item.find("span", {"pref- 
                 code" : "searchPreference.searchFields"}).get_text(strip = True)}',
                 "Sale Date": f'{Sale_Date}',
                 "Odometer": item.find("span", {"data-uname": 
                 "lotsearchLotodometerreading"}).get_text(strip = True),
                 "Title code": item.find("span", {"data-uname": 
                 "lotsearchSaletitletype"}).get_text(strip = True),
                 "Damage": item.find("span", {"data-uname" : 
                 "lotsearchLotdamagedescription"}).get_text(strip = True),
                 "Est. Retail Value": Retail_Value,
                 "Current Bid": item.find("ul", class_ = "list-unstyled").get_text(strip = 
                 True)
                 })
            print(cars)

    def parse():
        html = selen(URL)
        get_content(html)

    





    parse()
 
2
  • Когда вы используете браузер, то когда отпавляются запросы? Вероятно, пользователь делает какое-то действие (нажимает кнопку, прокручивает страницу и т.п.) либо же это просходит само собой, грубо говоря - по таймеру. В коде вам нужно сделать то же действие, и тогда браузер точно так же отправит запрос. 13 ноя 2021 в 14:38
  • @RomanKonoval Этот запрос отправляется когда я нажимаю на след. страницу!
    – VeRb
    14 ноя 2021 в 9:32

1 ответ 1

0

Так нажми с помощью selenium-а на кнопку 'Next', страница в браузере обновиться. Используем driver.page_source и у нас есть обновленный код страницы и так по кругу.

P.S. Можно и через запрос, но ответ придет в виде json

4
  • А сейчас у меня вообще сайт не отправляет код возращает None, но код такой же, сначала отправлял, а сейчас нет, как я понял это из-за того, что сайт понимает что это скрипт а не человек, но selenium же открывает браузер и ведёт себя как человек, почему None возращает?
    – VeRb
    18 ноя 2021 в 9:18
  • Моем ответе selenium как раз и не ведёт себя как человек. 18 ноя 2021 в 9:53
  • А как обойти блокировку сайта?
    – VeRb
    18 ноя 2021 в 13:29
  • 1 При переходе на новую страницу делать рандомную паузу. Меняешь user-agent, можно прикинуться мобильный браузером, правда могут заблокировать по IP. Можно использовать проски. 19 ноя 2021 в 9:59

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.