1

Есть механизм импорта данных в базу. На сервер загружается csv файл с id товара новой ценой. В цикле for перебираюся все строки csv файла. Если id не пустой то делается UPDATE цены по известному id.

Проблема в том, что работает это только с маленькими файлами, до 100 позиций, все остальные варианты не отрабатывают до конца, но и в error_log ничего не пишится, типа превышение лимита ресурсов и т.д.

Правильно ли я понимаю, что скрипту не хватает 30 сек и автоматом тушится? Или здесь срабатывает какое-то ограничение на количество запросов к базе?

Как лучше переделать систему импорта?

Код

$p = file($_SERVER["DOCUMENT_ROOT"]."/i.csv");
for($i=0; $i<sizeof($p); $i++)
{
    $e = explode(';', $p[$i]);  
    $id = $e[0];
    $price = $e[1];
    mysql_query("UPDATE products SET price='$price' WHERE id = '$id'");
}

Основной вопрос в том как не плодить кучу запросов UPDATE в цикле и провести обновление пакетно. Есть вариант делать это пошагово, т.е. читать файл пошагово и пошагово обновлять, скажем по 50 позиций, но это не решает проблемы лимита запросов к бд. Использовать mysqli_ multi_query возможности нет.

3
  • Кстати, если ошибки в настройках пхп не отключены, то если таймаут выполнения скрипта превышен, то это будет выведено в браузер!
    – org
    26 июл 2011 в 13:47
  • @Зоркий, а <a href="habrahabr.ru/qa/1154/">мультиапдейт</a> вам не нравится? По крайней мере, будет обновляться все или ничего.
    – Sh4dow
    26 июл 2011 в 19:38
  • Идея нравится но не сработает, я ниже в камментах подробно расписал почему. 28 июл 2011 в 14:51

5 ответов 5

2

Не читайте построчно, читайте в массив. Массивы обрабатываются гораздо быстрее.

$fp = fopen ("i.csv","r") or die ( "Не удалось открыть файл парсинга" );
/* Читаем построчно */
while ($data = fgetcsv ($fp,4000,"^","~")){Здесь обработка каждой строки}
1
  • Да, так и сделал. 28 июл 2011 в 14:04
2

А попробуйте тоже самое, только стандартной fgetcsv(); я думаю, что всё получится ;)

8
  • fgetcsv(); проблему не решила, однако, это хороший вариант оптимизации :). Я её как-то проглядел, получая строку fgets-ом и дальше explode её. 28 июл 2011 в 14:04
  • Ещё, как вариант оптимизации нужно в 1 итерации делать 2 команды. Тоже очень снижает нагрузку. Что-то типа for($i=0; $i<=count($arr); $i++++){ mysql_query("UPDATE table WHERE id=".$i." SET ..."); mysql_query("UPDATE table WHERE id=".$i+1." SET ..."); } Надеюсь, поможет! 31 июл 2011 в 18:35
  • Такая мысль приходила в голову, но это не решает проблемы. Всё равно срабатывает лимит запросов к БД. 31 июл 2011 в 20:31
  • Mysql-запросы лучше "скармливать" пачками штук по 30-50. У меня недавно была задача: "парсинг XML", такой способ сберёг больше половины времени! 5 авг 2011 в 19:45
  • Как реализовали "скормку" пачками? 5 авг 2011 в 20:17
2

Как вариант, не обращайтесь 1000 раз к базе. Постройте один запрос типа

insert into products(id, price) 
values 
    ($id1, $price1), 
    ($id2, $price2)... on duplicate key update price=$price

(предполагается, что id - уникальный ключ)

или, если запрос ооочень большой, сгруппируйте хотя-бы 20-50 продуктов на запрос... Скорее всего Вы тратите время именно на множественные обращения к базе...

Еще два решения:

-1- Воспользоваться LOAD DATA INFILE и, при необходимости, такой конструкцией:

CREATE TEMPORARY TABLE TempTable ( ID int, column1 text, column2 text ) TYPE=HEAP; 
LOAD DATA INFILE 'file_name' INTO TABLE TempTable;
INSERT INTO ResultTable SELECT column1, column2 FROM TempTable;
DROP TABLE TempTable;

insert заменить на update с join или с where exists()... например:

update products 
inner join temp_new_prices on products.id=temp_new_prices.id 
set products.price=temp_new_prices.price;

-2- Передать в хранимую процедуру MySQL огромную строку, содержащую n продуктов и цен, и далее, уже в хранимой процедуре, в цикле распарсить ее.... Решение приводить не буду - громоздкое. Но если нужно (и не найдете в гугле) - пишите.

5
  • Да, в этом и есть основная проблема. Есть ли другие варианты построения мультизапроса к mysql? Приведенный пример, я думаю не подойдет, потому что некоторых товаров в базе может не быть, соответственно запрос не отработает. Каково максимальное кол-во запросов которое можно сгруппировать? 28 июл 2011 в 14:16
  • В такой ситуации могу только посоветовать попробовать составить строку из многих update ... where ...,;, и использовать mysqli_multi_query (php.net/manual/en/mysqli.multi-query.php) или стандартный mysql_query, но нужно проверить опции подключения (выполнение нескольких запросов "в одном")
    – gote
    29 июл 2011 в 8:30
  • Множественный UPDATE через mysql_query() MySQL к превиликому сожалению не поддерживает. Поэтому остается только mysqli_multi_query() использовать. Перегуглил всё но нет упоминаний как это сделать приминительно для запроса на UPDATE, + если запись не обновилась этот момент зафиксировать. 31 июл 2011 в 18:29
  • Есть еще два решения - добавил в ответ.
    – gote
    2 авг 2011 в 12:24
  • Вариант с LOAD DATA INFILE очень интересный (на хабре есть готовый пример с импортом), возможно, у меня дойдут руки до полного осмысления процесса и его тестирования. С хранимыми процедурами никогда не работал и как-то лезсть в них аще не хочется. Тем не менее большое спасибо :) 2 авг 2011 в 14:06
1

А как вы итаете данные из файла? Если file_get_content or readfile - то на больших файлах не хватит оперативной памяти.

На счет времени поставьте в начале файла set_time_limit(0)

А файл читайте так:

$handle=fopen($fileName,'r');
if($handle){
    while($string=fgets($handle)){
        ...work...
    }
    fclose($handle);
}

Если скрипт не оч. большой, приведите его код.

3
  • Код приложил. Проблем с памятью при открытии файла нет, даже если там 5 000 строк. Мне кажется узкое место в БД. Но тогда почему нет ошибок в error_log-e. 26 июл 2011 в 9:22
  • Попробуйте if(!mysql_query("UPDATE products SET price='$price' WHERE id = '$id'"))print mysql_error();
    – org
    26 июл 2011 в 13:43
  • $price поступает абсолютно точно типа инт. До 100 запросов проходит а далее белая страница, ни ошибкок, варнингов - ничего и error-log пуст. Попробую ваш совет, хотя set_time_limit(0) точно не отработает - такой хостинг. 26 июл 2011 в 16:27
0

Всего то нужно было поле Id сделать индексным, коим оно не являлось. Проблема сразу же отпала и файл в 500 строк импортировался менее чем за секунду. Отсутствие индексного поля очень негативно сказалось на производительности запросов Апдейт.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.