0

Хочу извлечь линки всех изображений с ссылки, но у меня возникла проблема с извлечением информации с тега script

Код вот:

import requests
import json
from bs4 import BeautifulSoup as BS
import re

# Ссылка на полную страницу
url = 'https://www.instagram.com/p/B5n2EXjF_1C/'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like 
Gecko) Chrome/83.0.4103.116 Safari/537.36'}


r = requests.get(url, headers=headers, allow_redirects=True)

soup = BS(r.content, 'html.parser')
script = soup.find('script', attrs={'type':"text/javascript"}, text=re.compile('window._sharedData'))
data = json.loads(script.next)
image_url = data['display_url']

print(image_url)

Вот ошибка:

Traceback (most recent call last): File "C:/Users/Desktop/test/venv/Test.py", line 19, in data = json.loads(script.next) File "C:\Users\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 357, in loads return _default_decoder.decode(s) File "C:\Users\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "C:\Users\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Не сильно умею работать с типами js, но если есть у кого-то желание и время помочь,буду вам очень признателен!

0

1 ответ 1

0

Изменения:

  • Вместо script.next использовал script.text
  • Добавил в регулярку правила захвата куска js
  • Добавил извлечение куска js (search(...).group(1))

Попробуйте:

import datetime as DT
import json
import re
import sys
from bs4 import BeautifulSoup as BS
import requests

JS_SHARED_DATA_PATTERN = re.compile('window._sharedData = ({.+});')

# Ссылка на полную страницу
url = 'https://www.instagram.com/p/B5n2EXjF_1C/'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}


r = requests.get(url, headers=headers)

soup = BS(r.content, 'html.parser')
script = soup.find('script', attrs={'type':"text/javascript"}, text=JS_SHARED_DATA_PATTERN)
print(script)
# <script type="text/javascript">window._sharedData = {"config":{"csrf_tok ...

print(script.text)
# window._sharedData = {"config":{"csrf_token":"RtSXgxK6b0Lh4Ag3wSFRebLUfdJRA9qc","viewer":null, ...

# FIX: Если script имеет содержимое, а script.text возвращает пустую строку, то 
# в регулярку можно отдавать str(script), т.е.: JS_SHARED_DATA_PATTERN.search(str(script))
# В bs4 версии 4.7.1 проблемы не было, а в 4.9.1 уже есть
m = JS_SHARED_DATA_PATTERN.search(script.text)
if not m:
    print(f'Not found "window._sharedData = "!')
    sys.exit()

shared_data_text = m.group(1)
print(shared_data_text)
# {"config":{"csrf_token":"RtSXgxK6b0Lh4Ag3wSFRebLUfdJRA9qc","viewer":null,"viewerId":null},"country_code": ...

data = json.loads(shared_data_text)
print(data)
# {'config': {'csrf_token': 'RtSXgxK6b0Lh4Ag3wSFRebLUfdJRA9qc', 'viewer': None, 'viewerId': None}, 'country_code': ...

Я бы еще добавил дамп html, что не прошли проверку, это полезно для разбора ошибок, например:

import datetime as DT
...

m = JS_SHARED_DATA_PATTERN.search(script.text)
if not m:
    file_name_dump = str(DT.datetime.now()).replace(':', '') + '.html'
    with open(file_name_dump, 'wb') as f:
        f.write(rs.content)
    print(f'Not found "window._sharedData = ", see: {file_name_dump}!')
    sys.exit()

Без bs4:

import datetime as DT
import json
import re
import sys
import requests

JS_SHARED_DATA_PATTERN = re.compile('window._sharedData = ({.+});')

# Ссылка на полную страницу
url = 'https://www.instagram.com/p/B5n2EXjF_1C/'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}

r = requests.get(url, headers=headers)

m = JS_SHARED_DATA_PATTERN.search(r.text)
if not m:
    print(f'Not found "window._sharedData = "!')
    sys.exit()
print(shared_data_text)

data = json.loads(shared_data_text)
print(data)
9
  • Не запускается Вот ошибка: raceback (most recent call last): File "C:/Users/paras/Desktop/test/venv/Test.py", line 28, in <module> data = json.loads(shared_data_text) File "C:\Users\paras\AppData\Local\Programs\Python\Python38-32\lib\json_init_.py", line 341, in loads raise TypeError(f'the JSON object must be str, bytes or bytearray, ' TypeError: the JSON object must be str, bytes or bytearray, not NoneType 15 июл 2020 в 9:53
  • @ShevchukAndry, странно, у меня все работает. Вы точно полностью скопировали мой код? Вообще, я добавил вывод в консоль каждого шага, посмотрите что у вас пошло не так. Вывод должен быть похожим на тот, что я в коде описал
    – gil9red
    15 июл 2020 в 10:35
  • Все скопировал правильно,но всеравно не работает Я хотел спарсить все изображения доступные в посте,но я как уже понял,Выбрал не очень правильный путь,не знаете можно ли как-то по другому попробовать вытянуть те линки изображений? 15 июл 2020 в 13:00
  • @ShevchukAndry, а какая ошибка у вас? Случаем не AttributeError: 'NoneType' object has no attribute 'group'. Для парсинга инстаграмма можно посмотреть в сторону selenium
    – gil9red
    15 июл 2020 в 13:14
  • @ShevchukAndry, возможно, instagram начал вас блокировать, поэтому по той ссылке выдавалась какая-нибудь заглушка. Нужно смотреть что requests вернул (например в файл записать), а так я могу предложить вариант без html парсер (посмотрите в ответе), и... нужно проверять что возвращает search, это тоже в ответ добавлю
    – gil9red
    15 июл 2020 в 13:25

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.