1

Не могу спарсить несколько полей на сайте
https://samara.leroymerlin.ru/product/molotok-slesarnyy-dexter-27-mm-81968476/

Интересуют поля в блоке "Наличие в магазинах":
название магазина 1 - количество
название магазина 2 - количество
название магазина 3 - количество

import requests
import fake_useragent
from bs4 import BeautifulSoup

FIND_URL = r'https://samara.leroymerlin.ru/product/molotok-kovanyy-kedr-300-g-1-6-60-055-0300-93834892/'
FAKE_USER = fake_useragent.FakeUserAgent().random

HEADERS = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "User-Agent": FAKE_USER
}


def get_html(url):
    r = requests.get(url, headers=HEADERS)
    if r.status_code == 200:
        return r
    else:
        print("wrong request")


def get_content(url):
    r = get_html(url)
    soup = BeautifulSoup(r.content, 'lxml')

    # article = soup.find('div', 'product-info-container')
    article = soup.find('span', {'slot': 'article'}).get_text().strip().split()[1]
    print("Артикл:", article)
    name = soup.find('h1', {'slot': 'title'}).get_text().strip()
    print("Наименование:", name)
    price = soup.find('span', {'slot': 'price'}).get_text().strip()
    print("Цена:", price)

    #stock
    # выдает пустой список
    block_stock = soup.select('.stock-list-content > uc-store-stock:nth-child(1)')
    # и так тоже выдает пустой список
    block_stock =soup.find('div', 'stocks-list-slot-container')
    print(block_stock)



if __name__ == "__main__":
    get_content(FIND_URL)

Кому не сложно обьясните как сделать?

1 ответ 1

3

Остатки загружаются отсюда:

url = 'https://api.leroymerlin.ru/aem_api/v1/getProductAvailabilityInfo'

в заголовке должен быть x-api-key:

headers = {
    'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36', 
    'x-api-key': 'VY0AKH3eBwhyGUjBM5U9rO4PyBvTG0cA'
}

в payload - Id товара и региона:

payload = {
    'productId': '81968476',
    'productSource': 'E-COMMERCE',
    'regionId': '507'  # Самара
}

Отправьте POST запрос:

r = requests.post(url, headers=headers, json=payload)

В ответ получите json примерно такого содержания:

{'deliveryModes': {'PICKUP': {'nearestDate': '2021-04-19T16:59:00+04:00', 'minimalPrice': 0, 'maxStockAvailable': 26}, 'HOME_DELIVERY': {'nearestDate': '2021-04-20T09:00:00+04:00', 'minimalPrice': 100, 'maxStockAvailable': 26}}, 'stores': {'9': {'storeName': 'Леруа Мерлен Самара Дыбенко', 'stock': 13, 'sellingScheme': 'GENERAL'}, '13': {'storeName': 'Леруа Мерлен Самара-МЕГА', 'stock': 5, 'sellingScheme': 'GENERAL'}, '34': {'storeName': 'Леруа Мерлен Самара Южное шоссе', 'stock': 26, 'sellingScheme': 'GENERAL'}}, 'warnings': [], 'errors': []}

Остатки по магазинам:

stores = r.json()['stores']
>>> stores

{'9': {'storeName': 'Леруа Мерлен Самара Дыбенко', 'stock': 13, 'sellingScheme': 'GENERAL'}, '13': {'storeName': 'Леруа Мерлен Самара-МЕГА', 'stock': 5, 'sellingScheme': 'GENERAL'}, '34': {'storeName': 'Леруа Мерлен Самара Южное шоссе', 'stock': 26, 'sellingScheme': 'GENERAL'}}

Выводим на печать как-то так:

for store in stores.items():
    print(store[1]['storeName'], store[1]['stock'])

в итоге:

Леруа Мерлен Самара Дыбенко 13
Леруа Мерлен Самара-МЕГА 5
Леруа Мерлен Самара Южное шоссе 26

PS productId, regionId скорее всего где-то в исходном коде страницы, которую вы спарсили get-ом по адресу товарной позиции, x-api-key поищите в куках или используйте session()...

2
  • где можно ознакомиться с информацие, которая поможет мне разобраться с приведенным тобой решении... x-api-key - в session()... это где.. сори за детские вопросы, я начинающий (самоучка)
    – nk.nkt
    19 апр 2021 в 13:54
  • @nk.nkt вы нашли x-api... в r.request.headers т.к. сами его туда и записАли )) по идее, заходя на страницу товара, сайт устанавливает вам куки с заголовком x-api-key, и потом отправляет их в заголовке... для их сохранения удобно использовать session из того же requests
    – Jack_oS
    19 апр 2021 в 14:17

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.