Проблема в следующем: есть сайт без API, но я разрыл его фронт и обнаружил AJAX-пагинацию, выглядит она следующим образом: https://example.com/ws/v1.0/list?from=0&size=40
, я при получении первого(тестового запроса) могу увидеть сколько всего элементов на странице count
, но при исследованиях я выяснил что size
не может быть больше 40. А count
может быть от 1 до нескольких сотен или даже нескольких тысяч. Соответсвенно я хочу создать список url для запросов, при этом у меня есть начальный шаг from=0
, есть count
предположим 735
, и есть max_step=40
. У меня в принципе получилось добиться чего я хочу:
{'count': 18, 'start': [0, 40, 80, 120, 160, 200, 240, 280, 320, 360, 400, 440, 480, 520, 560, 600, 640, 680, 720], 'last_step': 15}
https://example.com/ws/v1.0/list?from=0&size=40
https://example.com/ws/v1.0/list?from=40&size=40
https://example.com/ws/v1.0/list?from=80&size=40
https://example.com/ws/v1.0/list?from=120&size=40
https://example.com/ws/v1.0/list?from=160&size=40
https://example.com/ws/v1.0/list?from=200&size=40
https://example.com/ws/v1.0/list?from=240&size=40
https://example.com/ws/v1.0/list?from=280&size=40
https://example.com/ws/v1.0/list?from=320&size=40
https://example.com/ws/v1.0/list?from=360&size=40
https://example.com/ws/v1.0/list?from=400&size=40
https://example.com/ws/v1.0/list?from=440&size=40
https://example.com/ws/v1.0/list?from=480&size=40
https://example.com/ws/v1.0/list?from=520&size=40
https://example.com/ws/v1.0/list?from=560&size=40
https://example.com/ws/v1.0/list?from=600&size=40
https://example.com/ws/v1.0/list?from=640&size=40
https://example.com/ws/v1.0/list?from=680&size=40
https://example.com/ws/v1.0/list?from=720&size=15
Но вид и чистота и читаемость кода меня просто не устраивают жуть:
address = 'example.com'
max_step = 40
count = 735
url = 'https://{address}/ws/v1.0/list?from={start}&size={size}'
def calc_requests(count: int, max_step: int) -> dict:
start = [0,]
count_requests = count // max_step
if count_requests > 0:
for i in range(1, count_requests+1):
start.append(max_step*i)
requests_dict = {'count': count_requests, 'start': start}
last_step = count - start[-1] if len(start) > 1 else count - max_step
if last_step > 0:
requests_dict['last_step'] = last_step
if last_step < 0:
requests_dict['last_step'] = max_step + last_step
print(requests_dict)
return requests_dict
def get_url_list(calc: dict, url: str, max_step: int):
size = max_step
if calc['count'] == 0 and 'last_step' in calc:
size = calc['last_step']
request_url = url.format(address=address, start=0, size=size)
print(request_url)
elif calc['count'] >= 1:
for start in calc['start']:
if start == calc['start'][-1] and 'last_step' in calc:
size = calc['last_step']
if start == calc['start'][-1] and 'last_step' not in calc:
break
request_url = url.format(address=address, start=start, size=size)
print(request_url)
test = calc_requests(count, max_step)
print(get_url_list(test, url, max_step))
Любые идеи по упрощению, уменьшению, использование yield
для выдачи ссылки, рекурсия - приветствую все.
Спасибо!