Всем привет, вот код :
import requests
from bs4 import BeautifulSoup as BS
import csv
def get_html(url):
session = requests.session()
session.headers = {'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'}
r = session.get(url)
if r.ok:
return r.text
else:
print(r.status_code)
def write_csv(data):
with open('realtytrac.csv', 'a') as f:
writer = csv.writer(f, delimiter=';')
writer.writerow((data['adress'],
data['url'],
data['price'],
data['date']))
def fix_price(text):
price = text.split('$')
price = price[1].replace(',', '')
return price
def fix_date(text):
date = text.split(' ')
date = date[3]
return date
def get_urls(html):
list_urls = []
soup = BS(html, 'lxml')
urls = soup.find('div', id='housesList').find_all('div', class_='content')
for block in urls:
url = 'https://www.realtytrac.com' + block.find('div', class_='address-data').find('h2').find('a').get('href')
print(url)
list_urls.append(url)
return list_urls
def get_page_data(list):
for url in list:
html = get_html(url)
soup = BS(html, 'lxml')
try:
adress = soup.find('section', class_='summary-block').find('h1')
adresses = adress.find_all('span')
adress = adresses[0].text + ' ' + adresses[1].text + ' ' + adresses[2].text + ' ' + adresses[3].text
except:
adress = ''
try:
prices = soup.find('div', class_='price').find('strong').text
price = fix_price(prices)
except:
price = ''
try:
dates = soup.find('div', class_='col-3').find('a').text.strip()
date = fix_date(dates)
except:
date = ''
data = {'adress': adress,
'url': url,
'price': price,
'date': date}
# write_csv(data)
def main():
url = 'https://www.realtytrac.com/mapsearch/pre-foreclosures/pa/allegheny-county/p-2/?sortbyfield=featured,desc'
list_urls = get_urls(get_html(url))
get_page_data(list_urls)
if __name__ == '__main__':
main()
Парсю сайт, а именно страницу https://www.realtytrac.com/mapsearch/pre-foreclosures/pa/allegheny-county/p-2/?sortbyfield=featured,desc. Ну так вот, на сайте, когда просматриваю код страницы, там есть блоки div с классом conten, в этих блоках есть теги h2 , и в них тег "a" с ссылкой(в атрибуте href). Я парсю эти ссылки(в коде видно),удачно парсю, но вот в коде страницы в атрибуте href нормальная ссылка,которая мне нужна, но вот у меня парсится совсем другая ссылка, почему так не пойму, от куда она берется, ведь в коде страницы другая. Помогите пожалуйста.
Вот ссылка которая мне нужна,которую я вижу,просматривая код страницы
/propertydetails/pa/cheswick/15024/roberts-st/109014734/
А вот что парсится у меня
/propertydetails/pa/pittsburgh/15217/deely-st/109435487/
Помогите, как исправить.