Вне зависимости от того, сколько страниц я запрашиваю пропарсить, программа выводит 27 строк результата. Как сделать так, чтобы программа выдавала количество строк пропорционально числу запрошенных для парсинга страниц?
import requests
from bs4 import BeautifulSoup
import pandas as pd
URL = 'https://spb.cian.ru/cat.php?deal_type=rent&engine_version=2&offer_type=flat&p=1'
HEADERS = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
def get_html(url, params=''):
r = requests.get(url, headers=HEADERS, params=params) # r = request.get(url, headers=HEADERS, params=params) #
return r
def get_content(html):
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='_93444fe79c--card--2umme _93444fe79c--promoted--62c4a')
rooms = []
for item in items:
rooms.append(
{
'title':item.find('div', class_='_93444fe79c--container--JdWD4').get_text(strip=True),
'link': item.find('div', class_='_93444fe79c--container--2Kouc _93444fe79c--link--2-ANY').find('a').get('href')
}
)
return rooms
def parser():
PAGENATION = input('Введите число страниц для парсинга: ')
PAGENATION = int(PAGENATION.strip())
html = get_html(URL)
if html.status_code == 200:
roomss = []
for page in range(1, PAGENATION+1):
print(f'Парсим страницу {page}')
html = get_html(URL, params={'page': page})
roomss.extend(get_content(html.text))
print(pd.DataFrame(get_content(html.text)))
else:
print('Error')
parser()