0

У меня есть таблица отелей к которым подвязаны amenities, facilities. Что я хочу получить, мне нужно сделать синхронизацию таблицы, то есть когда приходит 2 запроса в одно и то же время, то чтобы не было дубликатов в таблице. Поле Code в таблице TempHotel является уникальным (это просто для примера там стоит AAAA), но вот когда приходит 2 запроса на одинаковые данные, чтобы избежать этих дубликатов, нужно применить ON CONFLICT DO NOTHING, но тогда ломаются ассоциации и я не знаю что с этим сделать.

При этом всём мне нужно добиться максимальной производительности, данные которые вносятся очень большие, нам мои данные отелей батч пакет на 64 вставки работает быстрее всего. Но если делать какие-то хуки и т.д, то из 5 секунд на вставку превращается в 2 минуты, то есть если добавить что-то типа такого

func (e *TempFacility) BeforeCreate(tx *gorm.DB) (err error) {
    tx.Statement.AddClause(clause.OnConflict{
        Columns:   []clause.Column{{Name: "code"}},
        DoUpdates: clause.AssignmentColumns([]string{"code"}),
    })
    return nil
}

Вот код который вы можете сразу запустить и проверить:

package main

import (
    "fmt"
    "math/rand"
    "time"

    "gorm.io/driver/postgres"
    "gorm.io/gorm"
    "gorm.io/gorm/clause"
)

const (
    host     = "localhost"
    user     = "root"
    password = "root"
    database = "primary"
)

type TempHotel struct {
    ID   int    `gorm:"primaryKey"`
    Code string `gorm:"uniqueIndex"`

    // Associations
    Amenities  []TempAmenity  `gorm:"foreignKey:HotelID;constraint:OnUpdate:CASCADE,OnDelete:CASCADE"`
    Facilities []TempFacility `gorm:"foreignKey:HotelID;constraint:OnUpdate:CASCADE,OnDelete:CASCADE"`
}

type TempAmenity struct {
    ID      int `gorm:"primaryKey"`
    HotelID int `gorm:"index"`

    // Data
    Code string
}

type TempFacility struct {
    ID      int `gorm:"primaryKey"`
    HotelID int `gorm:"index"`

    // Data
    Code string
}

var letterRunes = []rune("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ")

func RandStringRunes(n int) string {
    b := make([]rune, n)
    for i := range b {
        b[i] = letterRunes[rand.Intn(len(letterRunes))]
    }
    return string(b)
}

func init() {
    rand.Seed(time.Now().UnixNano())
}

func main() {
    var err error
    dsn := fmt.Sprintf("host=%s user=%s password=%s dbname=%s port=5432 sslmode=disable",
        host,
        user,
        password,
        database,
    )
    db, err := gorm.Open(postgres.Open(dsn), &gorm.Config{PrepareStmt: true})
    if err != nil {
        panic(err)
    }

    if err := db.AutoMigrate(
        &TempHotel{},
        &TempAmenity{},
        &TempFacility{},
    ); err != nil {
        panic(err)
    }

    hotels := make([]TempHotel, 128)
    for i := 0; i < 128; i++ {
        hotels[i] = TempHotel{
            Code: "AAAA",
            Amenities: []TempAmenity{
                {
                    Code: RandStringRunes(5),
                },
            },
            Facilities: []TempFacility{
                {
                    Code: RandStringRunes(5),
                },
                {
                    Code: RandStringRunes(5),
                },
            },
        }
    }

    const batchSize = 64
    err = db.Clauses(&clause.OnConflict{DoNothing: true}).CreateInBatches(hotels, batchSize).Error
    if err != nil {
        panic(err)
    }
}

Выдает ошибку

ERROR: insert or update on table "temp_amenities" violates foreign key constraint "fk_temp_hotels_amenities" (SQLSTATE 23503); ERROR: insert or update on table "temp_amenities" violates foreign key constraint "fk_temp_hotels_amenities" (SQLSTATE 23503)
5
  • 2
    Опишите задачу своими словами, та ошибка что приведена в заголовке сообщает что у вас неверные связи, то что вы описали в теле вопроса - неверная логика. Чтобы решать проблему конкурентного доступа - используют транзакции а не заметают проблему под коврик (on conflict do nothing) 1 сен 2022 в 11:52
  • ERROR: insert or update on table "temp_amenities" violates foreign key constraint "fk_temp_hotels_amenities" (SQLSTATE 23503); ERROR: insert or update on table "temp_amenities" violates foreign key constraint "fk_temp_hotels_amenities" (SQLSTATE 23503) Вот ошибка. Я же в сообщении описал что мне нужно разруливать ситуации конкурентных вставок, а во вставках ещё ассоциации . А как это сделать при помощи транзакции? Я пытался засунуть этот кусок кода в транзакцию с уровнем sql.LevelSerializable, но мне это не помогло
    – Manticore
    1 сен 2022 в 13:12
  • Согласен с @ВладимирКлыков - используйте транзакции, через которые у вас не будет конфликтов между одновременными запросами так как они (транзакции) будут выполняться последовательно, одна за другой. По сути, данные не помещаются в таблицу пока транзакция не committed, и конфликтов, как таковых, у вас не будет, даже при одновременных запросах, выполняемых одновременно. 1 сен 2022 в 14:39
  • @DanielProtopopov так а как мне правильно оформить транзакцию? Я же не могу в транзакции блокировать и чтение и запись, так как тогда конкурентное чтение невозможно. Если я поставлю на лок только запись то получу deadlock. Как мне при минимальных накладных расходах провернуть эту схему?
    – Manticore
    3 сен 2022 в 8:05
  • Если вам нужна способность читать и писать одновременно когда происходит обновление, лучше использовать временную таблицу для полной синхронизации без проблем с deadlockами, а затем копировать данные в текущую целиком. Для этого есть и другие механизмы типа pt-table-sync. 4 сен 2022 в 20:06

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.