1

Такая проблема - мне нужно спарсить с google картинок изображение кот в высоком качестве, для этого я открываю ссылку в параметрах которой id картинки, тем самым получаю её версию в высоком качестве (пример - https://www.google.com/search?q=кот&hl=tt&tbm=isch&sxsrf=ALiCzsbG5z3WdiIBMmJpVA4tS5cNaUNuvA%3A1658298357600&source=hp&biw=2519&bih=1330&ei=9Z_XYqyrIsmHwPAPoIqgsAU&iflsig=AJiK0e8AAAAAYteuBSdbNazrU2Hog2F8dnZvuaR5W9_h&ved=0ahUKEwjs-aLk6ob5AhXJAxAIHSAFCFYQ4dUDCAY&uact=5&oq=кот&gs_lcp=CgNpbWcQAzIECCMQJzIECCMQJzIECAAQEzIECAAQEzIECAAQEzIECAAQEzIECAAQEzIECAAQEzIECAAQEzIECAAQEzoHCCMQ6gIQJ1C-CljND2CuEmgBcAB4AIABQIgBtwGSAQEzmAEAoAEBqgELZ3dzLXdpei1pbWewAQo&sclient=img#imgrc=1UUbQn2ml_olWM) но как я понял, html код на сервере не содержит элемент с ссылкой изображение а подгружает его уже js так вот вопрос - как можно исправить эту проблему (конкретно для google картинок) без selenium? Вот текущий код -

import requests as req
from bs4 import BeautifulSoup as BS
from random import choice

name = "кот"
url = f"https://www.google.com/search?q={name}&client=opera&hs=nkI&hl=ru&sxsrf=APq-WBuUWCpyLYYduHWl9vqF9dG_IIvdpg:1649445742756&source=lnms&tbm=isch&sa=X&ved=2ahUKEwizzsqcmIX3AhVM-yoKHcKBCg0Q_AUoAXoECAEQAw&biw=2519&bih=1299&dpr=1"

headers = {
    "User-Agent": "мой юзер агент"
}

r = req.get(url, headers=headers)

soup = BS(r.text, "html.parser")
imgs = list()

for id in soup.select("div", class_="isv-r PNCib MSM1fd BUooTd"):
    imgs.append(id.get("data-id"))

imgs = list(set(imgs))
if None in imgs:
    imgs.remove(None)

#id = choice(imgs)
id = "S5jBt3Lp984OCM"  # пока что работаю с конкретной картинкой




url = f"https://www.google.com/search?q={name}&client=opera-gx&hs=XcT&sxsrf=ALiCzsYXEnUBcedkSFWmbdVAf4CQWDuzew:1658225914940&source=lnms&tbm=isch&sa=X&ved=2ahUKEwiU2vf03IT5AhXRi8MKHcTfC5UQ_AUoAXoECAIQAw&biw=2519&bih=1330&dpr=1#imgrc=kUIe1rLXX0NjAM"

r = req.get(url, headers=headers)

soup = BS(r.text, "html.parser")

imgs = list()

for img in soup.select("img", class_="rg_i Q4LuWd"):
    imgs.append(img)

imgs = list(set(imgs))
if None in imgs:
    imgs.remove(None)

print(imgs)
9
  • Пожалуйста, уточните вашу конкретную проблему или приведите более подробную информацию о том, что именно вам нужно. В текущем виде сложно понять, что именно вы спрашиваете. 20 июл 2022 в 6:53
  • "html код на сервере не содержит элемент с ссылкой изображение" откуда такая увереность? 20 июл 2022 в 13:22
  • спарсив код проверил, div с картинкой появляется после прогрузки (то что должно было бы появиться я обвел imgur.com/a/Y41Kc0R) 20 июл 2022 в 14:28
  • @АндрейПристягин Вот я на пример утверждаю на 100%, что "html код на сервере" который скачал req.get(url, headers=headers) содержит ссылки на изображенния в количестве 100 штук 21 июл 2022 в 5:59
  • конкретно того что я указал нет, все которые есть это превью в низком качестве 21 июл 2022 в 6:52

1 ответ 1

2
import json
import re
import requests
from bs4 import BeautifulSoup


headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Firefox/102.0'}
response = requests.get('https://www.google.com/search?q=кот&tbm=isch&tbs=isz:l', headers=headers)
soup = BeautifulSoup(response.content, "html.parser")
dd = soup.find('script', string=re.compile("key: 'ds:1'")).text.strip()[20:-2]
dd = dd.replace(": '", ': "').replace("',", '",').replace('key:', '"key":').replace('hash:', '"hash":').\
    replace('data:', '"data":').replace('sideChannel:', '"sideChannel":')

z = json.loads(dd)
for img_links in z['data'][31][0][12][2]:
    try:
        url, x, y = img_links[1][3]
        if x >= 1200 and y >= 1200:
            print(x, 'X', y, url)
    except Exception:
        continue

1387 X 1200 https://upload.wikimedia.org/wikipedia/commons/thumb/0/0e/Felis_silvestris_silvestris.jpg/1200px-Felis_silvestris_silvestris.jpg
1440 X 1920 https://cdnn21.img.ria.ru/images/07e5/06/18/1738448523_0:21:864:669_1920x0_80_0_0_9920bbedf3cb1a14b1358e0677d01106.jpg
.....
1281 X 1920 http://blog.translate.ru/wp-content/uploads/2021/04/fat-cat-6082769_1920.jpg
1500 X 2000 https://vsluh.ru/upload/iblock/371/kbdpkc977sxmg11ujb5vrygnasmmsjgr.jpg
1500 X 1500 https://lookaside.fbsbx.com/lookaside/crawler/media/?media_id=731717787465455

Бонус

for s in z['data'][1][0][0][1]:
    print(s[0], f"https://www.google.com{s[2]}")

сфинкс https://www.google.com/search?q=%D0%BA%D0%BE%D1%82&tbm=isch&chips=q:%D0%BA%D0%BE%D1%82,g_1:%D1%81%D1%84%D0%B8%D0%BD%D0%BA%D1%81:gzUMf_Ddcok%3D
рыжий https://www.google.com/search?q=%D0%BA%D0%BE%D1%82&tbm=isch&chips=q:%D0%BA%D0%BE%D1%82,g_1:%D1%80%D1%8B%D0%B6%D0%B8%D0%B9:IbspG5mKFbs%3D
....
русский https://www.google.com/search?q=%D0%BA%D0%BE%D1%82&tbm=isch&chips=q:%D0%BA%D0%BE%D1%82,g_1:%D1%80%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9:Ipy01joVeO8%3D
маленький https://www.google.com/search?q=%D0%BA%D0%BE%D1%82&tbm=isch&chips=q:%D0%BA%D0%BE%D1%82,g_1:%D0%BC%D0%B0%D0%BB%D0%B5%D0%BD%D1%8C%D0%BA%D0%B8%D0%B9:spAFfzZaIDQ%3D
2
  • спасибо, проверю отпишусь 21 июл 2022 в 12:10
  • только хотел написать про ошибку с json а вы уже исправили 😅 в любом случае спасибо 21 июл 2022 в 13:05

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.