0

Подскажите пожалуйста, как корректно реализовать парсер данных. Описание: Имею длинный список, все данные из этого списка удаляются раз в месяц, так что довольно длинный получается. Ранее толком персерами не занимался, интересует логика сего. В данный момент:(в каждой строчке списка указано id время кол-во имя)

Открываем файл. 
 Создаю подключения с БД.
  цикл{
   выбираю строку
   проверяю не пуста ли она
    запрашиваю из таблицы данные(обычный select сравниваю по id и времени)
     если запись в базе присутствует, переходим к следующей строке
      если нет, то заносим в базу данных данные из строки.
    }
    закрыли подключение.
    закрыли файл.

Меня пугает получившееся в итоге куча mysql запросов... Что скажете по этому поводу?

4
  • Я бы создал вторую таблицу с нужными индексами (таблицу с тем, что должно быть вставлено). И на стороне бд сделал Update первой таблицы беря данные из второй и проверя есть ли уже в первой таблице запись с текущим ИД. И ваш пример не назвать большим объемом.
    – Fantyk
    6 июн 2013 в 16:33
  • Мой пример это лишь информация за 6дней и таких списков несколько, около 5штук.
    – avengerweb
    6 июн 2013 в 18:05
  • В mysql нет команды update or insert ? 7 июн 2013 в 4:22
  • @pincher1519, есть. Называется INSERT ... ON DUPLICATE KEY UPDATE 7 июн 2013 в 5:32

1 ответ 1

3

Посмотрите в сторону MERGE в SQL и ее аналога в MySQL (INSERT ... ON DUPLICATE KEY UPDATE). Как минимум это уже сократит ваши запросы к БД: проверка будет выполняться на стороне БД.

Второй вариант - писать все данные подряд во вспомогательную (временную) таблицу, не думая о дубликатах. Дубликаты отлавливать позже на стороне БД.

Третий вариант - обработать файл, подготовить массив, отфильтровав дубликаты, потом писать в БД.

Все сильно зависит от конкретных условий: частоты выполнения скрипта, размера файла.

UPD. LOAD DATA INFILE - для быстрого заливания данных в БД из текста (можно и без парсера обойтись в вашем случае - границы между полями и записями жестко заданы). Тогда алгоритм такой:

  1. Залить данные во вспомогательную таблицу
  2. При помощи INSERT... SELECT записать новые данные в основную таблицу (выбрать все записи, ID которых больше максимального в основной таблице)
  3. Очистить вспомогательную таблицу
4
  • Раз в час. mmotop.ru/votes/3a8fdd1fe483004369f0638a0e909dbe0f38e53a.txt пример файла. Файл обнуляется раз в месяц в первых числах, так что объем довольно большой выходит.
    – avengerweb
    6 июн 2013 в 16:28
  • Id там вроде бы уникальный - читайте из базы последний id и потом пишите в базу все строки, у которых Id больше. 6 июн 2013 в 16:51
  • id разбросаны.
    – avengerweb
    6 июн 2013 в 17:09
  • Интервалы между ID не важны. Важно, что у вас нет ситуаций, когда последующий ID меньше предыдущего - в примере, по крайней мере, так. Иными словами вы точно можете найти фрагмент, с которого данные нужно забирать. 6 июн 2013 в 18:15

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.