У меня возникла проблема с определенным видом пагинации на сайте https://steelwillknives.com.
Я пытаюсь спарсить url-ссылки на каждый из ножей в разделе Our knives (https://steelwillknives.com/our-knives/), но у меня возникает проблема с пагинацией: новые и новые ножи открываются автоматически при прокрутке страницы сайта, но при попытке спарсить их, мне удается достать только первые 10 ссылок, поскольку только они видны на первой странице раздела:
import requests as req
from bs4 import BeautifulSoup as BS
resp = req.get('https://steelwillknives.com/our-knives/').text
def get_catalog_data(html):
soup = BS(html,'lxml')
knifes = soup.find('main').find('div', class_='flex nowrap page-content').find('div',
class_='section-content').find_all('div', class_='item')
for knife in knifes:
url = knife.find('a').get('href')
print(url)
get_catalog_data(resp)
Выводит ссылки, однако, только первые 10:
our-knives/urban-series/duplicate-of-cutjack-c22m-1gb.html
our-knives/urban-series/cutjack-c22-1gb.html
our-knives/urban-series/nutcracker-f24-33.html
our-knives/urban-series/nutcracker-f24-20.html
our-knives/urban-series/nutcracker-f24-10.html
our-knives/tactical-series/barghest-f37m-03.html
our-knives/tactical-series/barghest-f37m-01.html
our-knives/tactical-series/barghest-f37-03.html
our-knives/tactical-series/barghest-f37-01.html
our-knives/urban-series/sedge-f19m-20.html
Соответственно, мой вопрос: как обработать пагинацию в этом случае так, чтобы достать все ссылки по каждому ножу?