0

Получаю данные из XML и сохраняю их в базу данных MySQL с помощью следующего кода:

<?php

mysql_connect("localhost", "root", "") or die("No connect to server");
mysql_select_db("test") or die("No select DB");
//mysql_query("set names 'utf-8'");
mysql_query("set names 'utf8'") or die("Can't set charset"); 

/* функция дебага массивов */
function arr($arr){
echo '<pre>';
print_r($arr);
echo '</pre>';
}

$file = 'file.xml'; // файл XML
$read = simplexml_load_file($file); // получаем объект класса

//arr($read); // распечатываем массив $read

$xml = $read->block; // $xml - объект-массив, вложенные теги - его свойства

$count = count($xml); // кол-во элементов массива

for($i = 0; $i < $count; $i++){

echo "<p>Ряд для таблицы с id - {$i}</p>";
echo $xml[$i]->id. '<br />'; // вывод id
echo $xml[$i]->date. '<br />'; // вывод date
echo $xml[$i]->title. '<br />'; // вывод title
echo $xml[$i]->link. '<br />'; // вывод link

/* можно поместить в привычные переменные */
$id_xml = $xml[$i]->id;
$date_xml = $xml[$i]->date;
$title_xml = $xml[$i]->title;
$link_xml = $xml[$i]->link;

/* заносим данные в БД */
$res = mysql_query("INSERT INTO `xml` SET 
                    `id_xml`='{$id_xml}',
                    `date_xml`='{$date_xml}',
                    `title_xml`='{$title_xml}',
                    `link_xml`='{$link_xml}'");
}

?>

Далее по крону запускаю этот файл и в базу заносятся уже ранее добавленные товары.

Пожалуйста, помогите реализовать функцию проверки на ранее добавленные товары, к примеру по id_xml

Сам пробовал, не получилось. foreach ($test as $xml) { try {...

База

CREATE TABLE `xml` (
`id` int(10) NOT NULL,
`id_xml` char(255) NOT NULL DEFAULT '',
`date_xml` char(30) NOT NULL DEFAULT '',
`title_xml` char(255) NOT NULL DEFAULT '',
`link_xml` char(20) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
UNIQUE KEY `id_xml` (`id_xml`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

МОЙ ИТОГОВЫЙ КОД:

<?php

set_time_limit(0);

header('Content-type: text/html; charset=utf8');

ini_set("display_errors", "On");

mysql_connect("localhost", "testertester", "E4d7Y6l9") or die("No connect to server");
mysql_select_db("tester") or die("No select DB");
//mysql_query("set names 'utf-8'");
mysql_query("set names 'utf8'") or die("Can't set charset"); 


/* Вариант 1. 2 строки ниже для обновления данных при дублировании ключа id_xml
$Query = "INSERT INTO `xml`(`id_xml`,`date_xml`,`title_xml`,`link_xml`) VALUES";
$ODKU = 'On Duplicate Key Update `date_xml`=Values(`date_xml`);';
*/
/*Вариант 2. 2 строки ниже для вставки только новых значений(не заменяя старых)*/
$Query = "INSERT IGNORE INTO `xml`(`id_xml`,`date_xml`,`title_xml`,`link_xml`) VALUES";
$ODKU = ';';

$values = "";

$file = 'file.xml'; // файл XML
$read = simplexml_load_file($file); // получаем объект класса

//arr($read); // распечатываем массив $read

$xml = $read->block; // $xml - объект-массив, вложенные теги - его свойства

$count = count($xml); // кол-во элементов массива

for($i = 0; $i < $count; $i++){
  echo "<p>Ряд для таблицы с id - {$i}</p>";
  echo $xml[$i]->id. '<br />'; // вывод id
  echo $xml[$i]->date. '<br />'; // вывод date
  echo $xml[$i]->title. '<br />'; // вывод title
  echo $xml[$i]->link. '<br />'; // вывод link
  /* можно поместить в привычные переменные  и заодно отфильтровать их от "лишних" данных, а точнее экранировать спец символы.*/
  $id_xml =    mysql_real_escape_string($xml[$i]->id);
  $date_xml =  mysql_real_escape_string($xml[$i]->date);
  $title_xml = mysql_real_escape_string($xml[$i]->title);
  $link_xml =  mysql_real_escape_string($xml[$i]->link);

  $values .= "('$id_xml', '$date_xml','$title_xml','$link_xml'),";
  /* заносим данные в БД если накопилось 1000 записей при подготовке запроса*/
  if($i % 1000 == 0)
  {
    $values[strlen($values)-1]=' ';
    $res = mysql_query("$Query $values $ODKU");
    $values = "";
  }
}
if(strlen($values)>0)
{
  $values[strlen($values)-1]=' ';
  /* заносим данные в БД */
  $res = mysql_query("$Query $values $ODKU");    
}


?>
2
  • 1
    Что должно происходить при дублировании данных? 28 дек 2018 в 22:17
  • Я хотел их пропускать и идти дальше, в поисках новых данных. Т.е. в базу заносить только уникальные товары, без дублей.
    – MicroRu
    28 дек 2018 в 22:25

2 ответа 2

1

Для работоспособности этого кода необходим ключ(уникальный(Unique) или главный(Primary)) на поле id_xml;

Создание БД:

CREATE TABLE `xml` (
`id` int(10) NOT NULL,
`id_xml` char(255) NOT NULL DEFAULT '',
`date_xml` char(30) NOT NULL DEFAULT '',
`title_xml` char(255) NOT NULL DEFAULT '',
`link_xml` char(20) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
UNIQUE KEY `xml_id` (`id_xml`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

Код для изменения существующей БД:

ALTER TABLE `xml` ADD unique index `xml_id` (`id_xml`);

Код вставки:

/*  Нужно выбрать один из вариантов, второй удалить*/

/* Вариант 1. 2 строки ниже для обновления данных при дублировании ключа id_xml*/
$Query = "INSERT INTO `xml`(`id_xml`,`date_xml`,`title_xml`,`link_xml`) VALUES";
$ODKU = 'On Duplicate Key Update `date_xml`=Values(`date_xml`);';

/*Вариант 2. 2 строки ниже для вставки только новых значений(не заменяя старых)*/
$Query = "INSERT IGNORE INTO `xml`(`id_xml`,`date_xml`,`title_xml`,`link_xml`) VALUES";
$ODKU = ';';

$values = "";
for($i = 0; $i < $count; $i++){
  echo "<p>Ряд для таблицы с id - {$i}</p>";
  echo $xml[$i]->id. '<br />'; // вывод id
  echo $xml[$i]->date. '<br />'; // вывод date
  echo $xml[$i]->title. '<br />'; // вывод title
  echo $xml[$i]->link. '<br />'; // вывод link
  /* можно поместить в привычные переменные  и заодно отфильтровать их от "лишних" данных, а точнее экранировать спец символы.*/
  $id_xml =    mysql_real_escape_string($xml[$i]->id);
  $date_xml =  mysql_real_escape_string($xml[$i]->date);
  $title_xml = mysql_real_escape_string($xml[$i]->title);
  $link_xml =  mysql_real_escape_string($xml[$i]->link);

  $values .= "('$id_xml', '$date_xml','$title_xml','$link_xml'),";
  /* заносим данные в БД если накопилось 1000 записей при подготовке запроса*/
  if($i % 1000 == 0)
  {
    $values[strlen($values)-1]=' ';
    $res = mysql_query("$Query $values $ODKU");
    $values = "";
  }
}
if(strlen($values)>0)
{
  $values[strlen($values)-1]=' ';
  /* заносим данные в БД */
  $res = mysql_query("$Query $values $ODKU");    
}

p.s. расширение MySQL - является устаревшим и не рекомендуется к использованию(а в последних версиях PHP и вовсе удалено), советую заменить на более современное: PDO или MySQLi. MySQLi по использованию очень похож на MySQL.

pss. Вставка таким способом будет более быстрой нежели в вопросе, а именно при вставке всех данных за один запрос, это происходит из за механизма транзакций, который по умолчанию производит коммит(фактическое сохранение данных) после каждого запроса. Это поведение так же можно изменить.
@Mike:

У MySQL есть ограничение на максимальный размер запроса. можно посмотреть по SHOW VARIABLES LIKE 'max_allowed_packet'. И текст запроса не может превышать этот объем. Так что если данных много вы его можете легко превысить. Правильный алгоритм вставки большого объема предполагает постоянную оценку размера запроса и периодическое выполнение insert когда он подходит к лимиту (ну или по количеству записей, например сбрасывать на каждой 1000й)

Код приведен в соответсвие с дополнением.

p.s.s.s. Добавлено использование функции mysql_real_escape_string, которая экранирует спец символы во входных данных.

1
-1

Не особо люблю заморачоваться и смотреть в код, я всего лишь скину мой пример

$sql="SELECT "имя столбка" FROM "Имя таблицы" WHERE "имя столбика"="Вводные данные" "; //Запрос с фильтром определеных товаров
    $result=mysqli_query($db,$sql); //Выполнение запроса
    $row=mysqli_fetch_array($result,MYSQLI_ASSOC); //количество столбцов с таким результатом запроса
    if(mysqli_num_rows($result) == 1)
    {
        $msg = "Этот товар уже существует";
        echo $msg;
    }

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.