0

Возникла ошибка при создании парсера на несколько страниц, суть парсера заключалась в том, что он должен был доставать ссылки со страницы, но произошла загвоздка, дальше первой страницы он искать не хочет. Мой код:

import requests
from bs4 import BeautifulSoup

num_of_page = 3
url = 'https://steamcommunity.com/market/search?#p'  

for i in range(1, num_of_page + 1):
    r = requests.get(url + str(i))
    soup = BeautifulSoup(r.text, 'html.parser')
    element = soup.find_all('a', class_='market_listing_row_link')
    for item in element:
        title = item.get('href')
        print(title)

Элементы выдаются с первой страницы, и так раз за разом, даже если вписать в значение url ссылку со второй страницы, данные будут приходить с первой. Ссылка на сайт: https://steamcommunity.com/market/search?#p1_popular_desc. Заранее спасибо)

6
  • 1
    вот я всей душой не понимаю зачем парсить steam, если у них есть api? steamcommunity.com/dev?l=russian
    – 1001001
    6 мая 2022 в 8:26
  • адрес следующих страниц - "steamcommunity.com/market/search?#p2_popular_desc" - где у вас "_popular_desc" в запросе? 6 мая 2022 в 8:26
  • _popular_desc ничего не меняет, попробуйте без него вписать, например p4, попадете без проблем на 4 страницу
    – SamFisher
    6 мая 2022 в 8:29
  • а по поводу стим апи, я делаю парсер с целью тренировки навыков, выбрал себе сайт, на котором можно неплохо испытать навыки, апи для определенных сайтов, а я хотел в общем и целом освоить написание парсинга.
    – SamFisher
    6 мая 2022 в 8:35
  • Даже при таком написании кода, результат выводится только с первой страницы:url = 'https://steamcommunity.com/market/search?#p3_popular_desc' r = requests.get(url) soup = BeautifulSoup(r.text, 'html.parser') element = soup.find_all('a', class_='market_listing_row_link') for item in element: title = item.get('href') print(title)
    – SamFisher
    6 мая 2022 в 8:38

1 ответ 1

0

Возможно я не совсем верно понял вопрос. Но вроде работает таким образом.

import requests
import time
from bs4 import BeautifulSoup
    
for i in range(1, num_of_page+1):
        r = requests.get('https://steamcommunity.com/market/search?#p' + str(i) + '_popular_desc')
        soup = BeautifulSoup(r.text, 'html.parser')
        element = soup.find_all('a', class_='market_listing_row_link')
        for item in element:
            title = item.get('href')
            print(title)
        print('Получил ссылки со страницы ' + str(i) + ' из ' + str(num_of_page))
        time.sleep(1)
1
  • Даже при этом коде, выдается результат только с первой страницы, просто по 3 раза, именно в этом и проблема, что парсер не хочет листать дальше первой страницы сайт
    – SamFisher
    6 мая 2022 в 11:19

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.