0

Доброго времени суток всем. Осваиваю python и в качестве практики и надобности решил написать парсер, который по введенному тегу(запросу поисковика на сайте), собирал бесплатные картинки наиболее близкие к требуемому мной разрешении с сайта unsplash.com. Я решил реализовать это получая ссылки на личные страницы карточек, а уже затем на них проверять разрешение и скачивать. Прилагаю скриншоты: Страница выдает карточки по запросу Личная страница карточки

Собрать ссылки со страницы запроса на странницы карточек у меня вышло, как и спарсить, сохранив их в файл(хотя я еще не очень разобрался с пагинацией, тч собираю лишь часть карточек).

Суть проблемы: В сохраненных мною страницах не открывается сайдбар(кнопка download - второй скриншот), где и располагаются ссылки на скачивание в различном разрешении, хотя при открытии на сайте все работает. Я отследил, что при этом меняет один атрибут тега(выделен на скриншоте), после чего в пустом div появляютс теги откуда и можно всязть необходимую мне инфу:когда сайдбар закрыт - false, открыт true Я пытался реализовать это так:

def download_images(headers, base_url, im_urls):
    # Iterate through pages and save them to files
    cnt = 1
    for im_url in im_urls:
        src = scraping_and_saving_page(headers, base_url, im_url)
        im_page = bs(src, 'lxml')
        if not sub_stat(im_page):
            try:
                button = im_page.find(class_='slPFO DQBsa p1cWU jpBZ0 EzsBC KHq0c zhYdL I0aPD dEcXu cMuzD jpBZ0')
                button.attrs['aria_expanded'] = 'true'
                im_resolutions = im_page.find('div', class_="KeJv5 voTTC").find('div', class_="jl4QA").find_all('span', class_="HoCsv").text().strip()
            except TypeError:
                print(f"{cnt}: {im_url} __Sidebar not found__")
        cnt += 1

В этой функции я обрабатываю список ссылок через requests, скачивая их и изменяю тег атрибута на true, чтобы затем в блоке try-except забрать инфу из динамически появляющегося div, но этого не происходит

PS: Я думал, что это может быть связано с отправкой запроса на сервер. Частично это так - запросы исходят, но ничего интересного в вкладке сеть не происходит

Заранее хочу поблагодарить всех людей, которые уделили время на помощь в решение моей проблемы. Надеюсь, что информации, которую я предоставил, было достаточно :)

4
  • Вероятнее это связано с тем, что когда вы открываете у себя HTML-документ, страница не имеет js-кода для подгрузки нужных элементов? Commented 9 авг. 2023 в 7:54
  • @mister_svinia, возможно и так, в любом случае я порылся на гугле с вашей идеей и не нашел ничего, что помогло бы. PS: Стоит иметь в виду, то что я только начал изучать питон, а ранее не изучал ничего, кроме осноd html?поэтому могу быть вовсе глуп и невнимателен. Commented 9 авг. 2023 в 10:35
  • Почитайте про Selenium Commented 9 авг. 2023 в 13:31
  • Поражают конечно советы по типу "используй селениум", когда сайт имеет API, который отдает результат в простейшем JSON... Вы данные там собираетесь получать, или интерфейс? Зачем целый браузер для получения данных...? Это как в магазин за хлебом, который через дорогу, на танке ехать и с сопровождением целой армии. Легкий и универсальный путь, не всегда верный, запомните это. И я напомню - селениум создан для тестирования а не парсинга...
    – EvgeniyZ
    Commented 13 авг. 2023 в 17:03

2 ответа 2

0
import requests

per_page = 30
page = 1
while True:
    params = {
        'query': 'rain',
        'per_page': per_page,
        'page': page,
        #'plus': 'none',
        'xp': 'search-synonym-replica:control',
    }

    response = requests.get('https://unsplash.com/napi/search/photos', params=params)

    if not response.json()['results']:
        break
    page += 1

    for x in response.json()['results']:
        url = f"https://unsplash.com/photos/{x['id']}/download"
        for z, y in ('', 'original'), ('?&w=640', 'small'), ('?&h=1920', 'medium'), ('?&w=2400', 'large'):
            with open(f"image/{x['id']}_{y}.jpg", "wb") as f:
                f.write(requests.get(url+z).content)
0

Как написал @mister_svinia, selenium покрыл необходимые требования Сохранение html в файл необходимо делать после имитации открытия сайдбара страницы selenium'ом. Так же решается проблема с пагинацией картинок.

PS: возможно позже прикреплю код, вдруг кому будет полезен пример имитации скролла не из документации

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.