0

Всем привет, вот код :

import requests
from bs4 import BeautifulSoup as BS 
import csv


def get_html(url):
    session = requests.session()
    session.headers = {'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'}
    r = session.get(url)
    if r.ok:
        return r.text
    else:
        print(r.status_code)


def write_csv(data):
    with open('realtytrac.csv', 'a') as f:
        writer = csv.writer(f, delimiter=';')
        writer.writerow((data['adress'],
                        data['url'],
                        data['price'],
                        data['date']))
              

def fix_price(text):
    price = text.split('$')
    price = price[1].replace(',', '')
    return price

def fix_date(text):
    date = text.split(' ')
    date = date[3]
    return date


def get_urls(html):
    list_urls = []
    
    soup = BS(html, 'lxml')
    urls = soup.find('div', id='housesList').find_all('div', class_='content')
    
    for block in urls:
        url = 'https://www.realtytrac.com' + block.find('div', class_='address-data').find('h2').find('a').get('href')
        print(url)
        list_urls.append(url)
    return list_urls




def get_page_data(list):
    

    for url in list:

        html = get_html(url)
        
        soup = BS(html, 'lxml')

        try:
            adress = soup.find('section', class_='summary-block').find('h1')
            adresses = adress.find_all('span')
            adress = adresses[0].text + ' ' + adresses[1].text + ' ' + adresses[2].text + ' ' + adresses[3].text
        except:
            adress = ''

        try:
            prices = soup.find('div', class_='price').find('strong').text
            price = fix_price(prices)
        except:
            price = ''

        try:
            dates = soup.find('div', class_='col-3').find('a').text.strip()
            date = fix_date(dates)
        except:
            date = ''

        data = {'adress': adress,
                'url': url,
                'price': price,
                'date': date}

#       write_csv(data)



def main():

    url = 'https://www.realtytrac.com/mapsearch/pre-foreclosures/pa/allegheny-county/p-2/?sortbyfield=featured,desc'
    list_urls = get_urls(get_html(url))
    get_page_data(list_urls)



    



if __name__ == '__main__':
    main()

Парсю сайт, а именно страницу https://www.realtytrac.com/mapsearch/pre-foreclosures/pa/allegheny-county/p-2/?sortbyfield=featured,desc. Ну так вот, на сайте, когда просматриваю код страницы, там есть блоки div с классом conten, в этих блоках есть теги h2 , и в них тег "a" с ссылкой(в атрибуте href). Я парсю эти ссылки(в коде видно),удачно парсю, но вот в коде страницы в атрибуте href нормальная ссылка,которая мне нужна, но вот у меня парсится совсем другая ссылка, почему так не пойму, от куда она берется, ведь в коде страницы другая. Помогите пожалуйста.

Вот ссылка которая мне нужна,которую я вижу,просматривая код страницы

/propertydetails/pa/cheswick/15024/roberts-st/109014734/

А вот что парсится у меня

/propertydetails/pa/pittsburgh/15217/deely-st/109435487/

Помогите, как исправить.

1 ответ 1

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.