0

Вне зависимости от того, сколько страниц я запрашиваю пропарсить, программа выводит 27 строк результата. Как сделать так, чтобы программа выдавала количество строк пропорционально числу запрошенных для парсинга страниц?

import requests
from bs4 import BeautifulSoup
import pandas as pd

URL = 'https://spb.cian.ru/cat.php?deal_type=rent&engine_version=2&offer_type=flat&p=1'
HEADERS = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}

def get_html(url, params=''):
    r = requests.get(url, headers=HEADERS, params=params) # r = request.get(url, headers=HEADERS, params=params) #
    return r

def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div', class_='_93444fe79c--card--2umme _93444fe79c--promoted--62c4a')
    rooms = []
    for item in items:
        rooms.append(
            {
                'title':item.find('div', class_='_93444fe79c--container--JdWD4').get_text(strip=True),
                'link': item.find('div', class_='_93444fe79c--container--2Kouc _93444fe79c--link--2-ANY').find('a').get('href')
            }
        )
    return rooms

def parser():
    PAGENATION = input('Введите число страниц для парсинга: ')
    PAGENATION = int(PAGENATION.strip())
    html = get_html(URL)
    if html.status_code == 200:
        roomss = []
        for page in range(1, PAGENATION+1):
            print(f'Парсим страницу {page}')
            html = get_html(URL, params={'page': page})
            roomss.extend(get_content(html.text))
        print(pd.DataFrame(get_content(html.text)))
    else:
        print('Error')

parser()

1 ответ 1

2

Вам нужно добавить еще один знак табуляции в строке

print(pd.DataFrame(get_content(html.text)))

, чтобы получилось так:

def parser():
    PAGENATION = input('Введите число страниц для парсинга: ')
    PAGENATION = int(PAGENATION.strip())
    html = get_html(URL)
    if html.status_code == 200:
        roomss = []
        for page in range(1, PAGENATION+1):
            print(f'Парсим страницу {page}')
            html = get_html(URL, params={'page': page})
            roomss.extend(get_content(html.text))
            print(pd.DataFrame(get_content(html.text)))
    else:
        print('Error')

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.