0

Есть один, очень большой файл с данными. Этот файл открывается в одной вкладке jupyter notebook и по коду запроса к api, идет дополнение исходных данных данными полученными от api. Например, есть в исходном файле есть колонка с id пользователя, а от api1, на основании этого id получаю его статус (колонка status) и дату (status_date). Есть другой api2, который на основании id пользователя и полученного status от api1 дополняет исходные данные полом пользователя (gender) и датой рождения (birthday). В идеале, на выходе, после двух api нужно получить один файл, в котором будут колонки с обоих api (id пользователя, status, status_date, gender, birthday). Но проблема в том, что на обоих api есть ограничение на кол-во подключений, поэтому, выходов несколько:

  1. через прокси обращаться к api (так и не смог заставить работать, отмел эту идею)
  2. получить все нужные данные от api1, а потом все данные передать к api2. Но тут то же проблема - получение ответов от api1 так же как и от api2 займет (суммарно) 2 месяца.
  3. открыть один и тот же файл с id пользователями в двух вкладках jupyter notebook для того, чтобы данные с двух api параллельно записывались в один файл.

Вопрос в следующем: как сделать так, чтобы данные с двух потоков писались параллельно в один файл и не конфликтовали друг с другом?

Процесс представляю себе так: запустил скрипт по обращению к api1. Он прогрузил несколько тысяч строк. Я останавливаю процесс запросов к api1, сохраняю файл, открываю его в другой вкладке и на основании полученных от api данных, обращаюсь к api2. Параллельно с эти запускаю обращение к api1 с той же строки где и закончил, api2 в этот момент отдает ответы на запросы. Когда полученные от api1 несколько тысяч строк в api2 заканчиваются, то полученные от api2 строки ДОЗАПИСЫВАЮТСЯ и исходный файл. И процесс заново повторяется до тех пор, пока данные от api1 и 2 не будут получены. В итоге, суммарное время работы с двумя api у меня должно быть не 2 месяца, а чуть больше месяца и на выходе, я сразу получаю один файл, в котором хранятся данные полученные от двух api.

2

1 ответ 1

1

Я тут вижу два варианта:

  • Загнать данные из файла в базу данных и работать с БД, получая оттуда и обновляя там записи. Собственно, БД и придуманы для того, чтобы вы могли к ним многопоточно обращаться, запрашивая и меняя там данные
  • Создать два новых файла из этого файла, в одном будет id и колонки, заполняемые первым api, во втором id и колонки, заполняемые вторым api. Эти файлы пусть заполняются независимо друг от друга. В конце данные из них можно будет через pandas.join соединить с основным файлом. А можно это делать и в процессе работы периодически, если кому-то нужны будут соединённые данные до окончания всех процессов.

Варианты заморачиваться с одним файлом видятся мне в корне неправильными - это и замедлит работу и создаст излишние сложности, без которых вполне можно обойтись.

6
  • первый вариант не подходит - т.к. нет возможности устанавливать на компьютер др. ПО, а заливать в облачную БД типа google BQ по политики безопасности нельзя. Второй вариант - я от api1 получаю статус, которые передается к api2, т.е. я не могу просто так взять и создать 2 файла. У меня цепочка id пользователя -> api1 (id пользователя и полученный статус) -> api2 (id пользователя, статус, пол, дата рождения) -> итоговый файл 9 авг 2021 в 6:36
  • @DmitryPolyanskiy А, понял, я невнимательно прочёл
    – CrazyElf
    9 авг 2021 в 6:37
  • @DmitryPolyanskiy Вроде SQLite не нуждается в установке, можно её теоретически использовать. Но вообще надо ещё подумать тогда
    – CrazyElf
    9 авг 2021 в 6:45
  • @DmitryPolyanskiy, не вижу проблем со вторым вариантом - один поток пишет данные на полученные от api1 в файл1. Второй поток периодически читает файл1 - если найдены записи, для которых отсутствуют записи в файл2, тогда второй поток отсылает запрос к api2 и записывает результат в файл2. 9 авг 2021 в 9:27
  • @MaxU а как именно это можно реализовать (периодически чекать новые записи, которые отсутствуют в файл2 и брать их в работу)? 9 авг 2021 в 10:18

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.