0

Имеется большой объем данных в формате Json(~135.000 предметов), нужно быстро сохранять их в бд. Имеется код

    for data in data_res['items']:
    item_id = data
    print(item_id)
    price = data_res['items'][data]['price']
    buy_order = data_res['items'][data]['buy_order']
    avg_price = data_res['items'][data]['avg_price']
    popularity_7d = data_res['items'][data]['popularity_7d']
    market_hash_name = data_res['items'][data]['market_hash_name']
    ru_name = data_res['items'][data]['ru_name']
    ru_rarity = data_res['items'][data]['ru_rarity']
    ru_quality = data_res['items'][data]['ru_quality']
    text_color = data_res['items'][data]['text_color']
    bg_color = data_res['items'][data]['bg_color']
    model = Person(item_id=item_id, price=price, buy_order=buy_order, avg_price=avg_price,
                   popularity_7d=popularity_7d, market_hash_name=market_hash_name, ru_name=ru_name,
                   ru_rarity=ru_rarity, ru_quality=ru_quality, text_color=text_color,bg_color=bg_color)
    model.save()

Он записывает данные очень медленно, как это можно максимально ускорить?

3
  • 2
    Во-первых, завернуть в транзакцию и сохранять по несколько сотен штук в пределах одной транзакции, а не поодиночке. Во-вторых, поковырять настройки вашей СУБД, добавить ей памяти, снизить частоту fsync, перенести базу на SSD и так далее
    – andreymal
    Commented 8 мая 2021 в 12:59
  • 1
    Попробуйте butch_create в django
    – Jack_oS
    Commented 8 мая 2021 в 13:09
  • Благодарю, метод bulk_create сильно уменьшил время выполнения.
    – Zloycate
    Commented 9 мая 2021 в 12:14

1 ответ 1

0

Использовал метод bulk_create, который ускорил процесс с 10 минут до 30 секунд.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.