0

условие моей задачи:с использованием страницы https://yandex.ru/images/ сформировать запросы для поиска изображений, контент на которых соответствует классам cat и dog. Для каждого класса должно быть загружено не менее 1000 изображений. Изображения для каждого класса должны находиться в подпапке папки dataset с соответсвующим названием.

Мой код парсит максимум 90 изображений котов и все, не понимаю в чем проблема.

Мой код:

import requests

import os

from bs4 import BeautifulSoup


URL = "https://yandex.ru/images/"
HEADERS={"User-Agent": "Mozilla/5.0"}

def get_image(image_url, name, index):
  if not os.path.isdir(name):
   os.mkdir(name)

  picture = requests.get(f"https:{image_url}", HEADERS)
  saver = open(os.path.join(f"{name}/{str(index).zfill(4)}.jpg"), "wb")
  saver.write(picture.content)
  saver.close()

def download_img(path, key):
  os.chdir(path)
  if not os.path.isdir("dataset"):
    os.mkdir("dataset")
  os.chdir("dataset")

count = 0
page = 0

while сount<1000:
  key1=key.replace(" ", "%20")
  url = f'{URL}search?p={page}&text={key}'
  print(f"Fetching URL: {url}")

  response = requests.get(url, headers=HEADERS)

  soup = BeautifulSoup(response.text, "html.parser")
  images = soup.findAll('img', class_='serp-item__thumb justifier__thumb')
  if not images:
    print("No images found on this page.")
    break

  for image in images:
    if count == 1000:
      return
    image_url = image.get("src")
    if image_url and not image_url.startswith("data:"):
     get_image(image_url, key, count)
     count += 1
  print(count)
  page += 1



def main():
  directory = os.getcwd()
  download_img(directory, 'cat')
  download_img(directory, 'dog')

if __name__ == "__main__":
  main()
9
  • Поправьте отступы. Commented 23 окт. 2023 в 10:06
  • Нет, конечно проблема не решиться, просто надо поправить отступы в вопросе :) Commented 23 окт. 2023 в 10:06
  • В самой программе с отступами все в порядке
    – Анна
    Commented 23 окт. 2023 в 10:07
  • А в вопросе нет. Поправьте в вопросе, чтобы мы могли запустить ваш код. Commented 23 окт. 2023 в 10:07
  • 1
    это не код, а набор строк из кода. Как у вас там "в самой программе" не имеет значения. Если вы хотите помощи, то приведите код в порядок, чтобы его любой мог скопировать и запустить. И заголовок заодно приведите в соответствие вопросу. Commented 23 окт. 2023 в 10:08

1 ответ 1

-1

Большего и нельзя получить с помощью requests, на сколько я знаю. Изначально прогружается часть изображений, соответственно нужно пролистать вниз чтобы прогрузить больше. Попробуйте библиотеку selenium, в ней можно прокручивать страницу дальше.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.