0

Получаю данные из XML и сохраняю их в базу данных MySQL с помощью следующего кода:

<?php

mysql_connect("localhost", "root", "") or die("No connect to server");
mysql_select_db("test") or die("No select DB");
//mysql_query("set names 'utf-8'");
mysql_query("set names 'utf8'") or die("Can't set charset"); 

/* функция дебага массивов */
function arr($arr){
echo '<pre>';
print_r($arr);
echo '</pre>';
}

$file = 'file.xml'; // файл XML
$read = simplexml_load_file($file); // получаем объект класса

//arr($read); // распечатываем массив $read

$xml = $read->block; // $xml - объект-массив, вложенные теги - его свойства

$count = count($xml); // кол-во элементов массива

for($i = 0; $i < $count; $i++){

echo "<p>Ряд для таблицы с id - {$i}</p>";
echo $xml[$i]->id. '<br />'; // вывод id
echo $xml[$i]->date. '<br />'; // вывод date
echo $xml[$i]->title. '<br />'; // вывод title
echo $xml[$i]->link. '<br />'; // вывод link

/* можно поместить в привычные переменные */
$id_xml = $xml[$i]->id;
$date_xml = $xml[$i]->date;
$title_xml = $xml[$i]->title;
$link_xml = $xml[$i]->link;

/* заносим данные в БД */
$res = mysql_query("INSERT INTO `xml` SET 
                    `id_xml`='{$id_xml}',
                    `date_xml`='{$date_xml}',
                    `title_xml`='{$title_xml}',
                    `link_xml`='{$link_xml}'");
}

?>

Далее по крону запускаю этот файл и в базу заносятся уже ранее добавленные товары.

Пожалуйста, помогите реализовать функцию проверки на ранее добавленные товары, к примеру по id_xml

Сам пробовал, не получилось. foreach ($test as $xml) { try {...

База

CREATE TABLE `xml` (
`id` int(10) NOT NULL,
`id_xml` char(255) NOT NULL DEFAULT '',
`date_xml` char(30) NOT NULL DEFAULT '',
`title_xml` char(255) NOT NULL DEFAULT '',
`link_xml` char(20) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
UNIQUE KEY `id_xml` (`id_xml`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

МОЙ ИТОГОВЫЙ КОД:

<?php

set_time_limit(0);

header('Content-type: text/html; charset=utf8');

ini_set("display_errors", "On");

mysql_connect("localhost", "testertester", "E4d7Y6l9") or die("No connect to server");
mysql_select_db("tester") or die("No select DB");
//mysql_query("set names 'utf-8'");
mysql_query("set names 'utf8'") or die("Can't set charset"); 


/* Вариант 1. 2 строки ниже для обновления данных при дублировании ключа id_xml
$Query = "INSERT INTO `xml`(`id_xml`,`date_xml`,`title_xml`,`link_xml`) VALUES";
$ODKU = 'On Duplicate Key Update `date_xml`=Values(`date_xml`);';
*/
/*Вариант 2. 2 строки ниже для вставки только новых значений(не заменяя старых)*/
$Query = "INSERT IGNORE INTO `xml`(`id_xml`,`date_xml`,`title_xml`,`link_xml`) VALUES";
$ODKU = ';';

$values = "";

$file = 'file.xml'; // файл XML
$read = simplexml_load_file($file); // получаем объект класса

//arr($read); // распечатываем массив $read

$xml = $read->block; // $xml - объект-массив, вложенные теги - его свойства

$count = count($xml); // кол-во элементов массива

for($i = 0; $i < $count; $i++){
  echo "<p>Ряд для таблицы с id - {$i}</p>";
  echo $xml[$i]->id. '<br />'; // вывод id
  echo $xml[$i]->date. '<br />'; // вывод date
  echo $xml[$i]->title. '<br />'; // вывод title
  echo $xml[$i]->link. '<br />'; // вывод link
  /* можно поместить в привычные переменные  и заодно отфильтровать их от "лишних" данных, а точнее экранировать спец символы.*/
  $id_xml =    mysql_real_escape_string($xml[$i]->id);
  $date_xml =  mysql_real_escape_string($xml[$i]->date);
  $title_xml = mysql_real_escape_string($xml[$i]->title);
  $link_xml =  mysql_real_escape_string($xml[$i]->link);

  $values .= "('$id_xml', '$date_xml','$title_xml','$link_xml'),";
  /* заносим данные в БД если накопилось 1000 записей при подготовке запроса*/
  if($i % 1000 == 0)
  {
    $values[strlen($values)-1]=' ';
    $res = mysql_query("$Query $values $ODKU");
    $values = "";
  }
}
if(strlen($values)>0)
{
  $values[strlen($values)-1]=' ';
  /* заносим данные в БД */
  $res = mysql_query("$Query $values $ODKU");    
}


?>
2
  • 1
    Что должно происходить при дублировании данных? Commented 28 дек. 2018 в 22:17
  • Я хотел их пропускать и идти дальше, в поисках новых данных. Т.е. в базу заносить только уникальные товары, без дублей.
    – MicroRu
    Commented 28 дек. 2018 в 22:25

2 ответа 2

1

Для работоспособности этого кода необходим ключ(уникальный(Unique) или главный(Primary)) на поле id_xml;

Создание БД:

CREATE TABLE `xml` (
`id` int(10) NOT NULL,
`id_xml` char(255) NOT NULL DEFAULT '',
`date_xml` char(30) NOT NULL DEFAULT '',
`title_xml` char(255) NOT NULL DEFAULT '',
`link_xml` char(20) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
UNIQUE KEY `xml_id` (`id_xml`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

Код для изменения существующей БД:

ALTER TABLE `xml` ADD unique index `xml_id` (`id_xml`);

Код вставки:

/*  Нужно выбрать один из вариантов, второй удалить*/

/* Вариант 1. 2 строки ниже для обновления данных при дублировании ключа id_xml*/
$Query = "INSERT INTO `xml`(`id_xml`,`date_xml`,`title_xml`,`link_xml`) VALUES";
$ODKU = 'On Duplicate Key Update `date_xml`=Values(`date_xml`);';

/*Вариант 2. 2 строки ниже для вставки только новых значений(не заменяя старых)*/
$Query = "INSERT IGNORE INTO `xml`(`id_xml`,`date_xml`,`title_xml`,`link_xml`) VALUES";
$ODKU = ';';

$values = "";
for($i = 0; $i < $count; $i++){
  echo "<p>Ряд для таблицы с id - {$i}</p>";
  echo $xml[$i]->id. '<br />'; // вывод id
  echo $xml[$i]->date. '<br />'; // вывод date
  echo $xml[$i]->title. '<br />'; // вывод title
  echo $xml[$i]->link. '<br />'; // вывод link
  /* можно поместить в привычные переменные  и заодно отфильтровать их от "лишних" данных, а точнее экранировать спец символы.*/
  $id_xml =    mysql_real_escape_string($xml[$i]->id);
  $date_xml =  mysql_real_escape_string($xml[$i]->date);
  $title_xml = mysql_real_escape_string($xml[$i]->title);
  $link_xml =  mysql_real_escape_string($xml[$i]->link);

  $values .= "('$id_xml', '$date_xml','$title_xml','$link_xml'),";
  /* заносим данные в БД если накопилось 1000 записей при подготовке запроса*/
  if($i % 1000 == 0)
  {
    $values[strlen($values)-1]=' ';
    $res = mysql_query("$Query $values $ODKU");
    $values = "";
  }
}
if(strlen($values)>0)
{
  $values[strlen($values)-1]=' ';
  /* заносим данные в БД */
  $res = mysql_query("$Query $values $ODKU");    
}

p.s. расширение MySQL - является устаревшим и не рекомендуется к использованию(а в последних версиях PHP и вовсе удалено), советую заменить на более современное: PDO или MySQLi. MySQLi по использованию очень похож на MySQL.

pss. Вставка таким способом будет более быстрой нежели в вопросе, а именно при вставке всех данных за один запрос, это происходит из за механизма транзакций, который по умолчанию производит коммит(фактическое сохранение данных) после каждого запроса. Это поведение так же можно изменить.
@Mike:

У MySQL есть ограничение на максимальный размер запроса. можно посмотреть по SHOW VARIABLES LIKE 'max_allowed_packet'. И текст запроса не может превышать этот объем. Так что если данных много вы его можете легко превысить. Правильный алгоритм вставки большого объема предполагает постоянную оценку размера запроса и периодическое выполнение insert когда он подходит к лимиту (ну или по количеству записей, например сбрасывать на каждой 1000й)

Код приведен в соответсвие с дополнением.

p.s.s.s. Добавлено использование функции mysql_real_escape_string, которая экранирует спец символы во входных данных.

1
  • Комментарии не предназначены для расширенной дискуссии; разговор перемещён в чат.
    – ЮрийСПб
    Commented 29 дек. 2018 в 10:33
-1

Не особо люблю заморачоваться и смотреть в код, я всего лишь скину мой пример

$sql="SELECT "имя столбка" FROM "Имя таблицы" WHERE "имя столбика"="Вводные данные" "; //Запрос с фильтром определеных товаров
    $result=mysqli_query($db,$sql); //Выполнение запроса
    $row=mysqli_fetch_array($result,MYSQLI_ASSOC); //количество столбцов с таким результатом запроса
    if(mysqli_num_rows($result) == 1)
    {
        $msg = "Этот товар уже существует";
        echo $msg;
    }

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.