Отключил выполнение javascript через инспектор браузера, на странице нет тегов по тому пути, но картинки, кст, остались. Вам или парсить то, что есть (сделаю пример по этому варианту), или использовать парсер с движком на javascript (типа selenium)
Парсер bs4
не умеет работать с javascript'ом, поэтому отключив его на странице мы сможешь увидеть страницу, которую и пытаемся парсить:

В ней есть ссылки на превью картинок, скрытые в атрибуте style
. Чтобы извлечь его нужно:
- Перебирать элементы с атрибутом
style
- Из атрибута
style
искать ссылки на картинки (re.search
)
- Из относительной ссылки сделать абсолютную (
urljoin
)
Пример:
import re
from urllib.parse import urljoin
import requests
from bs4 import BeautifulSoup
rs = requests.get('https://www.flickr.com/search/?text=cats')
root = BeautifulSoup(rs.content, 'html.parser')
for x in root.select('.view.photo-list-photo-view[style]'):
m = re.search(r'url\((.+?)\)', x['style'])
url_img = urljoin(rs.url, m.group(1))
print(url_img)
Результат:
https://live.staticflickr.com/5598/14934282524_344c84246b_n.jpg
https://live.staticflickr.com/4838/45925416992_c9caac8cb9_m.jpg
https://live.staticflickr.com/4536/38465451442_59291a4a2f_n.jpg
...
https://live.staticflickr.com/267/31671889412_bb37b917be_n.jpg
https://live.staticflickr.com/70/175237265_029f7974a2_w.jpg
https://live.staticflickr.com/3488/4051998735_5b4863ac11_m.jpg
https://live.staticflickr.com/5036/5881933297_7974eaff82_n.jpg