Можно в тело запроса подставить количество возвращаемых записей через поле per_page
.
По умолчанию, там 20 объектов, в качестве примера подставил туда 100 и пришло 54 элемента, т.е. все
Пример:
import requests
url = 'https://www.livelib.ru/reader/LushbaughPizzicato/read/listview/smalllist'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0',
'X-Requested-With': 'XMLHttpRequest',
}
data = {
'page_no': 1,
'per_page': 100,
'is_new_design': "ll2019",
'is_prev': "false"
}
rs = requests.post(url, data=data, headers=headers)
print(rs)
data_json = rs.json()
object_ids = data_json['object_ids']
print(len(object_ids), object_ids)
# 54 [1000518262, 1002753859, 1000330921, ..., 1000593383, 1002885672]
Думаю, имеет смысл рассказать как это написал.
- Нашел запрос, отправленный при клике на кнопку "показать еще"
- Посмотрел на тело запроса
- В заголовках запроса посмотрел на
Content-Type
, от этого зависит какой атрибут использовать для отправки тела запроса: data
, json
или files
. А x-www-form-urlencoded
это data
- Добавил в заголовок запроса
User-Agent
и X-Requested-With
, чтобы сервер принял его и вернул ожидаемый json