1

У меня возникла проблема с определенным видом пагинации на сайте https://steelwillknives.com.
Я пытаюсь спарсить url-ссылки на каждый из ножей в разделе Our knives (https://steelwillknives.com/our-knives/), но у меня возникает проблема с пагинацией: новые и новые ножи открываются автоматически при прокрутке страницы сайта, но при попытке спарсить их, мне удается достать только первые 10 ссылок, поскольку только они видны на первой странице раздела:

import requests as req 
from bs4 import BeautifulSoup as BS 

resp = req.get('https://steelwillknives.com/our-knives/').text                     

def get_catalog_data(html):
    soup = BS(html,'lxml')
    knifes = soup.find('main').find('div', class_='flex nowrap page-content').find('div', 
class_='section-content').find_all('div', class_='item')
    for knife in knifes:
        url = knife.find('a').get('href')
        print(url)

get_catalog_data(resp)

Выводит ссылки, однако, только первые 10:

our-knives/urban-series/duplicate-of-cutjack-c22m-1gb.html
our-knives/urban-series/cutjack-c22-1gb.html
our-knives/urban-series/nutcracker-f24-33.html
our-knives/urban-series/nutcracker-f24-20.html
our-knives/urban-series/nutcracker-f24-10.html
our-knives/tactical-series/barghest-f37m-03.html
our-knives/tactical-series/barghest-f37m-01.html
our-knives/tactical-series/barghest-f37-03.html
our-knives/tactical-series/barghest-f37-01.html
our-knives/urban-series/sedge-f19m-20.html

Соответственно, мой вопрос: как обработать пагинацию в этом случае так, чтобы достать все ссылки по каждому ножу?

0

1 ответ 1

2

В исходниках есть такой блок (хотя его и не видно):

<div class="pagination">
    <ul class="pagination">
        <li class="disabled"><span>First</span></li>
        <li class="disabled"><span>&laquo;</span></li>
        <li class="active"><a href="our-knives/">1</a></li>
        <li><a href="our-knives/?page=2">2</a></li>
        <li><a href="our-knives/?page=3">3</a></li>
        <li><a href="our-knives/?page=4">4</a></li>
        <li><a href="our-knives/?page=5">5</a></li>
        <li class="control"><a href="our-knives/?page=2">&raquo;</a></li>
        <li class="control"><a href="our-knives/?page=12">Last</a></li>
    </ul>
</div>

из которого можно достать общее количество страниц:

import requests
from bs4 import BeautifulSoup


url = 'https://steelwillknives.com/our-knives/'
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser')

qty_pages = int(soup.find('ul', class_='pagination').find_all('li')[-1].find('a')['href'].replace('our-knives/?page=', ''))

Делайте запросы на страницы от 2 до максимальной, передавая номер через параметр адреса ?page=:

for page_num in range(2, qty_pages+1):
    url = f'https://steelwillknives.com/our-knives/?page={page_num}'
    r = requests.get(url)

    soup = BeautifulSoup(r.content, 'html.parser')
    items = soup.find_all('div', class_='item')

    for item in items:
    link = item.find('a')['href']
        print(link)

напечатает:

our-knives/urban-series/sedge-f19m-10.html
our-knives/urban-series/sedge-f19-20.html
our-knives/urban-series/sedge-f19-10.html

...

our-knives/tactical-series/adept-1000.html
our-knives/tactical-series/courage-311.html
our-knives/tactical-series/fervor-1201.html

где последняя ссылка, как можно заметить (на Fervor 1201), - указывает на последнюю товарную позицию вашего раздела

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.