Есть файл состоящий из 4 миллионов строк, где каждая строка это json объект. Сейчас процесс выглядит так: я получаю строку из файла, далее идет парсинг этой строки и вставка в бд. Как добиться максимальной скорости этого процесса ?
-
Использовать транзакции для вставки в БД большими порциями. По опыту это самая медленная операция.– Eugene Krivenja11 июл 2022 в 17:16
-
"большого файла" - ¿а в байтах это сколько? Если там каждая строка всего по нескольку десятков символов, то это вообще ни о чем. "вставка в бд" - ¿в какую БД? ¿Она сама не умеет работать с JSON, или нужна какая-то сложная предобработка? ¿Какая скорость обработки сейчас?– user786067012 июл 2022 в 10:29
-
Либо подготовить базу заранее и сложить в assets, либо 4млн строк/объектов итд не нужны будут никогда. Вероятны оба варианта. И в любом случае вы не ту задачу решаете.– Yura Ivanov13 июл 2022 в 3:39
Добавить комментарий
|
1 ответ
Вот тут есть пример как можно распараллелить парсинг: https://stackoverflow.com/a/10625178/3212712. Там же (и в других местах) утверждается, что само чтение в разных потоках прироста скорости не даст.
Т.е., получается, надо примерно так:
- В одном потоке читаем файл, составляем из него список строк.
- Делим список строк на части (тут, наверное, методом проб можно определить на какое кол-во частей можно/оптимальнее поделить)
- Каждую часть строк отправляем в отдельный поток, который распарсит каждую строку и
- сформирует SQL запрос по массовой вставке данных в БД, что да, как говорят в комментах должно быть самой медленной частью процесса.
-
В вопросе не хватает многих существенных деталей, зато совет по преждевременной оптимизации уже подъехал. Мало того, что вся эта затея может быть бессмысленной, так как данных может оказаться несущественное количество или если например вставка производится в какой-нибудь clickhouse, так еще и раскидывает перед ОПом россыпь граблей многопоточности. 12 июл 2022 в 10:37