1

Получаю время от времени ошибку

Message: SQLSTATE[40P01]: Deadlock detected: 7 ERROR: deadlock detected

Запрос вида (для примера сокращу, в запросе может быть до 250 строк и много контента):

INSERT INTO link (
                        parsed,
                        error,
                        error_message,
                        url,
                        title,
                        author_name,
                        date,
                        date_parsed,
                        updated_at,
                        rss_id,
                        content,
                        content_tsvector
                    )  VALUES (true, false, '', 'https://medium.com/@scottishforsocial/a-leading-voice-from-india-transforming-indian-education-8655f91dd7b7',  'A leading voice from India-Transforming Indian Education', 'ScottishHigh', '2020-08-06 04:50:16', '2020-08-07 08:30:14', '2020-08-07 08:30:14',
            221808, 'content', to_tsvector('content')) ON CONFLICT DO NOTHING
                    RETURNING id, rss_id

Так же есть ньюанс что подобные запросы выполняются на 40 серверах к одной базе данных

Как с таким бороться?

6
  • 1
    вобще дедлок - это стандартная тема для всех бд. если две транзакции (пускай делающих одно и то же) сначала извлекают записи (накладывают readlock на записи), а потом меняют их (накладывают writelock), то бд обе их останавливает, а через некоторое время снимает обе. если вы считаете, что такие параллельные транзакции вам нужны, то надо понижать уровень изоляции транзакции до dirty reads (минимальное изолирование) Commented 7 авг. 2020 в 9:46
  • "сначала извлекают записи" - этого я не делаю, а только вставляю, я беру данные из одной бд и вставляю в другую Commented 7 авг. 2020 в 9:49
  • ответ ниже объясняет, что извлекаете (ON CONFLICT DO NOTHING) - это обычный select перед вставкой Commented 7 авг. 2020 в 9:49
  • можно все вставить (без проверки), а потом отдельно почистить дубликаты. ну либо вставлять последовательно. зачем вам эта параллель? Commented 7 авг. 2020 в 9:51
  • У меня много серверов, которые сохраняют данные каждый в свою базу, а потом по крону переносят все в общую базу. Ну и на поле url стоит уникальный ключ Commented 7 авг. 2020 в 9:55

1 ответ 1

3

в запросе может быть до 250 строк

Логично предположить, что конкурентно вставляете одни и те же данные в разном порядке.

Как же ON CONFLICT DO NOTHING? А что он может?

  • t1: begin
  • t2: begin
  • t1: insert 1 on conflict - никто не мешает, записали
  • t2: insert 2 on conflict - никто не мешает, записали
  • t2: insert 1 on conflict - хм, это же значение пишет t1, но мы не знаем можем ли мы сделать do nothing, т.к. если t1 сделает rollback - мы сделаем неправильный выбор. Потому ждём окончание t1
  • t1: insert 2 on conflict - а это значение хочет t2 писать, подождём её завершения.
  • t1 или t2 спустя время deadlock_timeout - что-то я долго жду, проверю-ка граф ожиданий. Опа, действительно deadlock, отменяю свою транзакцию. Вторая транзакция соответственно разблокируется.

insert на много строк всё равно транзакция и потому может быть аналогично.

Отсортируйте записываемые множества по какому-либо признаку в идентичном порядке.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.