0

Есть необходимость выгружать JSON-файл с данными за определенный промежуток времени из веб-интерфейса через RestAPI. Лимит записей в полученном файле - 100. В самом файле информация о действиях и временем, когда это действие произошло. Если за запрашиваемый промежуток времени данных больше, чем на 100 записей, полученный ответ об этом сигнализирует - moreDataAvailable = True. Чтобы получить недостающие данные, необходимо сформировать новый request и в url прописать время последнего полученного события (receivedDateTime) вместо starttime и прибавить к нему 1 милисекунду.

На Python'е удалось сделать запрос к Веб-интерфейсу через requests.get()

 >>> import requests
>>> response = requests.get(
...     'https://api.blablabla.com/event/eventstatuses?requestId=1234&datetype=received&starttime=2020-02-10T00%3A00%3A57.001Z&...'
... )
>>> json_response = response.json()
>>> print(json_response)

Как возможно автоматизировать запросы для выгрузки всех необходимых данных за запрашиваемый период? (moreDataAvailable = False) Можно ли полученные JSONы объединить в один?

2
  • Использовать цикл while, пока moreDataAvailable истинно, в теле цикла делать запросы, накапливать ответы и проводить все необходимые манипуляции со starttime. Так бы подошло?
    – mrEvgenX
    18 фев 2020 в 10:53
  • Думал об этом, но в данном случае у меня starttime находится в URL. Соответственно, при каждом новом запросе этот параметр в URL должен меняться. Поэтому и возникает вопрос, как заставить его там меняться... 18 фев 2020 в 19:06

1 ответ 1

0

Если я правильно понял...

Зависит, конечно, откуда берется этот URL, откуда берутся параметры для него. Его же можно формировать из нескольких переменных.

Так как у меня нет доступа к интерфейсу, то я написал просто распечатывание URL, но оставил в комментариях, чем это заменить.

Возможно, функция isoformat() не подойдет, ну вдруг. Тогда пригодится strftime(). Другими словами, я сделал кучу разумных предположений о формате ответа и код придется приспособить под свою ситуацию. Своей задачей увидел только показать, как формировать URL динамически.

from datetime import datetime, timedelta
import requests


def form_url(request_id, datetype, starttime):
    url_pattern = 'https://api.blablabla.com/event/eventstatuses?requestId={}&datetype={}&starttime={}&...'  # дополняем тем, что есть по факту в параметрах
    return url_pattern.format(request_id, datetype, starttime.isoformat())


events = []  # здесь будет список событий
starttime = datetime(2020, 2, 10, 0, 0, 0)
moreDataAvailable = True
for i in range(5):  # меняем на: while moreDataAvailable:
    url = form_url('1234',  'received', starttime)
    print(url)  # меняем на: response = requests.get(url)
    # response_json = response.json()
    # обновляем условие остановки: moreDataAvailable = response_json['moreDataAvailable']
    # добавляем агрегацию ответов, если в ответе список, то так: events += response_json['events']
    starttime += timedelta(milliseconds=1)  # меняем на: starttime = response_json['events'][-1]['starttime'] + timedelta(milliseconds=1)

Вывод программы такой:

https://api.blablabla.com/event/eventstatuses?requestId=1234&datetype=received&starttime=2020-02-10T00:00:00&...
https://api.blablabla.com/event/eventstatuses?requestId=1234&datetype=received&starttime=2020-02-10T00:00:00.001000&...
https://api.blablabla.com/event/eventstatuses?requestId=1234&datetype=received&starttime=2020-02-10T00:00:00.002000&...
https://api.blablabla.com/event/eventstatuses?requestId=1234&datetype=received&starttime=2020-02-10T00:00:00.003000&...
https://api.blablabla.com/event/eventstatuses?requestId=1234&datetype=received&starttime=2020-02-10T00:00:00.004000&...

Т.е. мы много раз по одной миллисекунде прибавляем и получаем URL для запроса новой порции, а когда moreDataAvailable станет ложно - цикл остановится.

Ну и выскажусь по поводу архитектурного решения API. Критика заключается в способе постраничного доступа. Гораздо проще было бы заиметь параметры pageSize и pageNumber, но если это какое-то совершенно сторонне API и они решили, что их клиентам так комфортно, либо им так комфортно реализовать свою логику, ну чтож...

5
  • Благодарю за развернутый ответ. Моя вина - не уточнил важную деталь: время последнего полученного события - receivedDateTime. Это время, увеличенное на 1 милисекунду, необходимо вставлять в url последующих запросов. 19 фев 2020 в 9:42
  • KeyError Traceback (most recent call last) <ipython-input-7-3f4fb23af07c> in <module> 6 response_json = response.json() 7 moreDataAvailable = response_json['moreDataAvailable'] ----> 8 events += response_json[events'] 9 starttime = response_json['events'][-1]['receivedDateTime']+timedelta(milliseconds=1) KeyError: 'events' 19 фев 2020 в 9:58
  • Я не смог угадать, какого формата json вашего ответа. Под response_json['events'] я подразумевал то место, где эти события хранятся. Это же должен быть какой-то список?
    – mrEvgenX
    19 фев 2020 в 13:46
  • Да, это список: событие (срабатывание триггера) - createddatetime (время события) - receiveddatetime (время, когда данные о событии получены БД) - участник - различные данные, исходя из contentfilter в URL. 19 фев 2020 в 16:29
  • Небольшое дополнение, что может пригодиться функция strptime() у типа datatime, 100% дата и время события придет в строковом формате и ее надо будет парсить в объект типа datetime. Повторюсь, что я привел подход к написанию кода, а не готовую программу. Ну и здесь этим не занимаются. Вполне нормально, что после разрешения одних трудностей возникают другие. Тогда лучше оформить новый вопрос. А если мой ответ не вполне решает изначальную проблему - отредактировать текущий вопрос и включить в него недостающие детали. В комментариях их выразить довольно проблематично.
    – mrEvgenX
    20 фев 2020 в 3:24

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.