0

Всем привет!Подскажите пожалуйста, каким образом можно заменить for count in range(1,14): чтобы определять пагинацию страниц автоматически.

Мой код оформлен так , что приходится каждый раз смотреть сайт а именно кол-во страниц, и соответственно в цикл range вставлять значения конечной страницы.

import requests
from bs4 import BeautifulSoup
import pandas as pd
from time import sleep
import random
from fake_useragent import UserAgent
import tkinter as tk

ua=UserAgent()
exel=pd.DataFrame()
domen="https://online.metro-cc.ru"
n,p,u,x,s,f,k=[],[],[],[],[],[],[]

def start_parser():
for count in range(1,14):
  sleep(2)
  link=f"https://online.metro-cc.ru/category/chaj-kofe-kakao/chay?page={count}"
  headers={"User-Agent": ua.chrome}
  response=requests.get(link,headers=headers).text
  bs=BeautifulSoup(response,"lxml")
  print(link)
1
  • сперва одним запросом парсишь пагинацию, далее подставляешь в цикл
    – Oyunsky
    Commented 20 февр. в 21:20

1 ответ 1

0
url = "https://online.metro-cc.ru/category/chaj-kofe-kakao/chay"
response = requests.get(url)

soup = BeautifulSoup(response.text, "lxml")
last_page = int(soup.select(".v-pagination__item")[-1].text) # 13

for page in range(1, last_page + 1):
    ...
1

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.