0

При загрузке 4гб CSV в БД, наблюдаются подвисания запросов соседней БД. Т.е. CSV грузится не в рабочую БД, сама таблица в этот момент не используется, а виснут запросы из другой - рабочей БД (в основном к одной большой таблице). Какая связь?

Если грузить 4гб одним файлом, то некоторые запросы могут подвисать на 30 секунд. Если делить на части, то подвисания короче - 5-10 сек. Если делать паузу между загрузками частей, то подвисания 1-5 секунды.

Пробовал загружать в MyISAM и в Innodb, картина идентичная, но в первую грузит быстрее. Индексы все удалены.

В чем может быть причина? Диск не справляется или проблема в конфигурации mysql?

3
  • 1
    Какая связь? Сервер-то один... В процессе загрузки промониторьте нагрузку на диск и потребление памяти сервисом и ОС. По крайней мере поймёте, по каким ресурсам затык...
    – Akina
    31 мая 2019 в 8:12
  • Простой тест показывает, что сначала данные загружаются в память в сыром виде (расходуется память, интенсивные дисковые операции), затем данные парсятся на поля (интенсивный расход процессора), затем записываются в таблицу (снова диск). Основную проблему представляет именно парсинг - сервер вообще "теряет берега". Предполагаю, но не уверен, что именно во время парсинга ему нехватает ресурсов процессора для обработки других запросов.
    – Akina
    31 мая 2019 в 8:34
  • @Akina спасибо. А что за "простой тест"? Судя по top, в моем случае нехватка памяти или упирается в производительность диска. Даже загружая 4гб 200 мегабайтными порциями, 8 гб оперативки съедается на глазах.Можно как-то поумерить аппетит?
    – GuAr
    31 мая 2019 в 16:04

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.