1

Есть файлик csv, на 15000000 которые нужно переместить в таблицу в бд MySQL. Файл обновляется каждые 30 минут. Есть вариант использовать временною метку только на обновления даных внутри файла. Как правильно сделать? Технология неважна.

В файле будет код товара, цена, наличие. Файл обновляться каждый час, его выгружаем. Возможно там будет метка временных, что-бы актуальным только брать. Но не факт. Но в дальнейшем это будет или обновление или вставка нового товара.

6
  • 1
    Каков характер обновления? Полностью новый файл? Дополняются строки в конце? Что-то ещё? Добавьте в вопрос, пожалуйста. 4 мар в 11:37
  • 2
    Это пробовали? mysqltutorial.org/import-csv-file-mysql-table 4 мар в 11:38
  • 1
    Можно загрузить через pandas. На подобии stackoverflow.com/questions/62816651/… 4 мар в 12:01
  • C# - поможет библиотека CsvHelper
    – aepot
    4 мар в 12:14
  • 2
    Сомнительно, что в большинстве случаев за час в файле с информацией о товарах появится много изменений. Я бы начал с diff-а, между текущей и предыдущей версиями файла, а потом внес изменения в базу. Но более правильным решением, было бы перепроектирование системы так, чтобы поставщик этого файла сам накапливал только изменения и отсылал их
    – avp
    4 мар в 13:36

1 ответ 1

1

Достаточно быстрым вариантом будет использовать LOAD DATA INFILE напрямую в бд без необходимости перебора данных программой.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.