1

Скрипт работал до сих пор. Ранее выполнялся за 10 секунд, теперь грузится секунд 30 и выдает ошибку 500 Internal Server Error или же

Fatal error: Uncaught exception 'PDOException' with message 'SQLSTATE[HY000]: General error: 2006 MySQL server has gone away' in /home/admin/web/site.com/public_html/sql.php:410 Stack trace: #0 /home/admin/web/site.com/public_html/sql.php(410): PDOStatement->execute(Array) #1 {main} thrown in /home/admin/web/site.com/public_html/sql.php on line 410

Строка 410:

$sql = "INSERT INTO table SET ".pdoSet($allowed,$values);
$stm = $pdo->prepare($sql);
$stm->execute($values); // 410

В файл /etc/mysql/my.cnf добавил следующие строки

max_allowed_packet=64M
query_cache_limit=6M

И отредактировал такие

wait_timeout=30=>3000

Теперь парсер работает, но всеравно он почему то выполняется около 40-50 секунд, вместо 10 обычных. В чем может быть дело?

5
  • Может стоит воспользоваться транзакциями?
    – androschuk
    Commented 12 янв. 2016 в 19:22
  • не знаю, может быть, но ведь было все хорошо и без транзакций Commented 12 янв. 2016 в 19:25
  • @RomanVulchyn ну может что-то не выбирается, по какой-то причине в парсере. это передается в запрос....то есть фигня передается.....отсюда и вываливается ошибка.....почему бы по логам не посмотреть что прилетает в парсере? Commented 12 янв. 2016 в 19:30
  • @АлексейШиманский, доходчиво объяснил, спасибо, посмотрю Commented 12 янв. 2016 в 19:31
  • @RomanVulchyn сколько в таблице записей? скорее всего проблема в большом объеме.
    – olegatro
    Commented 15 янв. 2016 в 7:32

1 ответ 1

1

По мере роста таблицы в базе данных и ее объема, операция вставки в нее может замедляться. Особенно сильно эта тенденция проявляется тогда, когда в таблице много индексов, для которых осуществляется перестройка при каждой вставке, обновлении или удалении записи. Если индексов действительно много можно попробовать убрать часть, которые не используются или используются редко.

Еще один вариант - это уменьшить объем таблицы в которую данные вставляются или вставлять их предварительно в агрегирующую таблицу небольшого размера, а потом перегонять в основную оптом при помощи многострочного INSERT-запроса. Причем такая таблица может вообще быть не в MySQL, а в каком-то быстром NoSQL-решении, расположенном в оперативной памяти, например, в Redis или в Memcached.

Директивы, которые вы установили в my.cnf - вам не помогут

max_allowed_packet=64M
query_cache_limit=6M

max_allowed_packet - задает максимальный размер строки запроса, а query_cache_limit устанавливает максимальный размер результирующей таблицы кэшируемого запроса - все что больше этого размера не кэшируется. Однако, у вас проблема именно с INSERT, которые не кэшируются вообще.

Если вы имеете дело с InnoDB-таблицами лучше попробовать увеличить размер innodb_buffer_pool_size, таким образом, чтобы вся база данных могла провалиться в оперативную память. Можно попробовать поиграть количеством innodb_log_files_in_group и размером innodb_log_file_size журнала транзакций - записи сначала попадают в них и лишь потом записываются в основную таблицу. Однако, если все журналы у вас расположены на одном диске - это большого эффекта не даст. Зато может дать эффект установки innodb_flush_log_at_trx_commit в 0, чтобы транзакции писались на диск не после каждого запроса, а раз в секунду.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.