1

Есть следующий код на python.

import extruct
import requests
import pprint
from w3lib.html import get_base_url
pp = pprint.PrettyPrinter(indent=2)
r = requests.get('https://avtoinstrument.kz/p58052466-podemnik-dvuhstoechnyj-380v.html')
base_url = get_base_url(r.text, r.url)
data = extruct.extract(r.text, base_url=base_url)
pp.pprint(data)

Вопрос: Возможно ли как-то остановить загрузку, после того как получили json-ld обьект чтобы не загружать весь исходнй код страницы?

1 ответ 1

1

Можно. Используйте Streaming Requests.

Например:

import json
import requests

r = requests.get('https://httpbin.org/stream/20', stream=True)

for line in r.iter_lines():
    # filter out keep-alive new lines
    if line:
        decoded_line = line.decode('utf-8')
        print(json.loads(decoded_line))

Скачиваете порциями, копите их и проверяйте пришли ли уже нужные вам данные:

import extruct
import requests
import pprint
from w3lib.html import get_base_url

url = 'https://avtoinstrument.kz/p58052466-podemnik-dvuhstoechnyj-380v.html'
r = requests.get(url, stream=True)

all_data = bytearray()

for line in r.iter_lines():
    if not line:
        continue

    # Копим данные, что приходят порциями
    all_data += line

    # Предполагаю, что на странице использует эта кодировка
    text = all_data.decode('utf-8')

    # Пробуем найти
    base_url = get_base_url(text, r.url)
    data_json = extruct.extract(text, base_url=base_url)

    # Если нашли
    if data_json:
        break

pp.pprint(data_json)
13
  • Дело в том, что это не совсем обычный json, json-ld. Данный вариант просто json библиотека не распознает. ValueError: No JSON object could be decoded
    – Иван
    17 апр 2019 в 7:48
  • @Иван, разве? Json-LD ведь совместим с обычным Json. И пример в ответе с json именно пример, тут ведь вам нужно работать с line, что является массивом байт. Если вы вставили свою ссылку и запустили код, то не должно у вас работать, т.к. тот сайт вернет HTML, а JSON
    – gil9red
    17 апр 2019 в 7:54
  • Поидее да, но в данном примере по моей ссылке этот парсинг не проходит,, с обычным json без проблем.
    – Иван
    17 апр 2019 в 7:55
  • Задача и есть из html достать json-ld, не трогая по возможности html, на сколько это возможно.
    – Иван
    17 апр 2019 в 7:57
  • @Иван, давайте еще раз. В цикле line будет возвращать куски из URL, например <html>, после '<head>', и так до конца. Ваша задача копить эти куски и искать в них ваш JSON-LD, после выйти из цикла
    – gil9red
    17 апр 2019 в 7:59

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.