1

Есть файл состоящий из 4 миллионов строк, где каждая строка это json объект. Сейчас процесс выглядит так: я получаю строку из файла, далее идет парсинг этой строки и вставка в бд. Как добиться максимальной скорости этого процесса ?

3
  • Использовать транзакции для вставки в БД большими порциями. По опыту это самая медленная операция. 11 июл 2022 в 17:16
  • "большого файла" - ¿а в байтах это сколько? Если там каждая строка всего по нескольку десятков символов, то это вообще ни о чем. "вставка в бд" - ¿в какую БД? ¿Она сама не умеет работать с JSON, или нужна какая-то сложная предобработка? ¿Какая скорость обработки сейчас? 12 июл 2022 в 10:29
  • Либо подготовить базу заранее и сложить в assets, либо 4млн строк/объектов итд не нужны будут никогда. Вероятны оба варианта. И в любом случае вы не ту задачу решаете. 13 июл 2022 в 3:39

1 ответ 1

-1

Вот тут есть пример как можно распараллелить парсинг: https://stackoverflow.com/a/10625178/3212712. Там же (и в других местах) утверждается, что само чтение в разных потоках прироста скорости не даст.

Т.е., получается, надо примерно так:

  1. В одном потоке читаем файл, составляем из него список строк.
  2. Делим список строк на части (тут, наверное, методом проб можно определить на какое кол-во частей можно/оптимальнее поделить)
  3. Каждую часть строк отправляем в отдельный поток, который распарсит каждую строку и
  4. сформирует SQL запрос по массовой вставке данных в БД, что да, как говорят в комментах должно быть самой медленной частью процесса.
1
  • В вопросе не хватает многих существенных деталей, зато совет по преждевременной оптимизации уже подъехал. Мало того, что вся эта затея может быть бессмысленной, так как данных может оказаться несущественное количество или если например вставка производится в какой-нибудь clickhouse, так еще и раскидывает перед ОПом россыпь граблей многопоточности. 12 июл 2022 в 10:37

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.