1

Каким обрзом вставить значения в базу данных, если есть ограничения в виде наличия уникальных ключей? При этом не хочется делать на каждую вставку коммит, так как это очень долго. Например, sqlalchemy выполняет такую вставку раза в 2 быстрее, чем с коммитами. Предполагается, что используется DataFrame из которого читаются данные. Таблица

        CREATE TABLE processed_roads (
            road VARCHAR ( 64 ),
            lat_end REAL,
            lon_end REAL,
            segment_index INT,
            unique (segment_index,)
        );

Пример со вставкой алхимии:

   road_local_df.head(200).to_sql(name='roads', con=self.__conn, if_exists='replace', index=False)

road_local_df В точности совпадает с таблицей.

В postgresql делаю так:

        data = road_local_df
        columns = ','.join(data.columns.tolist())
        for _, row in enumerate(data.iterrows()):
            values = ','.join(fuel_opt.transform_types(row[1].values.tolist()))
            try:
                self._execute_write_query(cursor=cursor, columns=columns, values=values)
                self.__conn.commit()
            except errors.UniqueViolation:
                self.__conn.rollback()
            except Exception as e:
                self.__conn.rollback()
                loguru.logger.error(e)
                raise e
0

2 ответа 2

2

Ответ дали в другом месте. Это можно решить с помощью On conflict do nothing. Пример из ссылки:

INSERT INTO customers (NAME, email)
VALUES('Microsoft','hotline@microsoft.com') 
ON CONFLICT (name)
DO NOTHING;

Для нашего примера можно записать так:

INSERT INTO processed_roads (road, lat_end, lon_end, segment_index)
VALUES('123', 1, 2, '333') 
ON CONFLICT (segment_index)
DO NOTHING;
2

Я бы еще посоветовал дополнить этот ответ советом о том как это правильно делать, используя Pandas:

  1. заливаем данные из Pandas DataFrame во временную таблицу, перезаписывая ее, если такая уже существует:
road_local_df.to_sql(name='tmp_customer', con=self.__conn, 
                     if_exists='replace', index=False)
  1. запускаем INSERT INTO customer SELECT * FROM tmp_customer ON CONFLICT (name) DO NOTHING, используя курсор:
cur = engine.raw_connection().cursor()
qry = """
INSERT INTO customer (name, email)
SELECT * from tmp_customer
ON CONFLICT (name)
DO NOTHING
"""
cur.execute(qry)
12
  • Зачем тут временная таблица? 8 окт 2020 в 18:54
  • @hedgehogues, чтобы вставлять данные одним INSERT'ом, а не в цикле по одной строке. data.iterrows() - работает очень медленно 8 окт 2020 в 19:01
  • в этом, плане. Да. Для этого я перевожу всё в строку. И у меня получается огромная длинная строка. Я здесь задавал такой вопрос. ru.stackoverflow.com/questions/1175420/… 8 окт 2020 в 19:18
  • @hedgehogues, не, длинная строка - плохой метод. Может сломаться если будет слишком длинная или нарваться на ограничение по длине SQL в SQLAlchemy. Мой метод лучше :-D 8 окт 2020 в 19:21
  • Понятное дело. Но у нас задача специфичная. У нас тачки по 128 ГБ. Поэтому (=. Ну, Вы поняли. Там очень тяжёлые штуки провариваются. Наверное, можно уменьшить. Но смысла не очень много 8 окт 2020 в 19:28

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.