0

Подскажите пожалуйста, как корректно реализовать парсер данных. Описание: Имею длинный список, все данные из этого списка удаляются раз в месяц, так что довольно длинный получается. Ранее толком персерами не занимался, интересует логика сего. В данный момент:(в каждой строчке списка указано id время кол-во имя)

Открываем файл. 
 Создаю подключения с БД.
  цикл{
   выбираю строку
   проверяю не пуста ли она
    запрашиваю из таблицы данные(обычный select сравниваю по id и времени)
     если запись в базе присутствует, переходим к следующей строке
      если нет, то заносим в базу данных данные из строки.
    }
    закрыли подключение.
    закрыли файл.

Меня пугает получившееся в итоге куча mysql запросов... Что скажете по этому поводу?

4
  • Я бы создал вторую таблицу с нужными индексами (таблицу с тем, что должно быть вставлено). И на стороне бд сделал Update первой таблицы беря данные из второй и проверя есть ли уже в первой таблице запись с текущим ИД. И ваш пример не назвать большим объемом.
    – Fantyk
    6 июн 2013 в 16:33
  • Мой пример это лишь информация за 6дней и таких списков несколько, около 5штук.
    – avengerweb
    6 июн 2013 в 18:05
  • В mysql нет команды update or insert ? 7 июн 2013 в 4:22
  • @pincher1519, есть. Называется INSERT ... ON DUPLICATE KEY UPDATE 7 июн 2013 в 5:32

1 ответ 1

3

Посмотрите в сторону MERGE в SQL и ее аналога в MySQL (INSERT ... ON DUPLICATE KEY UPDATE). Как минимум это уже сократит ваши запросы к БД: проверка будет выполняться на стороне БД.

Второй вариант - писать все данные подряд во вспомогательную (временную) таблицу, не думая о дубликатах. Дубликаты отлавливать позже на стороне БД.

Третий вариант - обработать файл, подготовить массив, отфильтровав дубликаты, потом писать в БД.

Все сильно зависит от конкретных условий: частоты выполнения скрипта, размера файла.

UPD. LOAD DATA INFILE - для быстрого заливания данных в БД из текста (можно и без парсера обойтись в вашем случае - границы между полями и записями жестко заданы). Тогда алгоритм такой:

  1. Залить данные во вспомогательную таблицу
  2. При помощи INSERT... SELECT записать новые данные в основную таблицу (выбрать все записи, ID которых больше максимального в основной таблице)
  3. Очистить вспомогательную таблицу
4
  • Раз в час. mmotop.ru/votes/3a8fdd1fe483004369f0638a0e909dbe0f38e53a.txt пример файла. Файл обнуляется раз в месяц в первых числах, так что объем довольно большой выходит.
    – avengerweb
    6 июн 2013 в 16:28
  • Id там вроде бы уникальный - читайте из базы последний id и потом пишите в базу все строки, у которых Id больше. 6 июн 2013 в 16:51
  • id разбросаны.
    – avengerweb
    6 июн 2013 в 17:09
  • Интервалы между ID не важны. Важно, что у вас нет ситуаций, когда последующий ID меньше предыдущего - в примере, по крайней мере, так. Иными словами вы точно можете найти фрагмент, с которого данные нужно забирать. 6 июн 2013 в 18:15

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.