0

Доброе утро, друзья. У меня есть большая таблица заказчиков: t_customer с 10.000.000 строк. Мне необходимо по каждому заказчику выполнить какое-либо действие.

Я запускаю некий php-скрипт, который выбирает данные из этой таблицы. Но, чем дальше я запрашиваю данные, то SQL-запрос выполняется все медленнее и медленее, и теперь дошло до "Query execution was interrupted".

Запрос такой:

SELECT id, login FROM t_customer WHERE regdate<1370955715 LIMIT 2600000, 100000;

То есть, такой лимит вообще уже не выполняется ( Уэ не знаю, что и делать. Прошу, помогите мне.

0

2 ответа 2

2

Попробуйте сделать партиционирование таблицы заказчиков. Если часто приходится выбирать по дате регистрации, то сделайте партиционирование по дате. Потом перенесите данные из одной таблицы в другую:

INSERT INTO new_table
SELECT * FROM old_table

Очень важно исходить из того, какая выборка чаще всего используется, потому как вся польза партиционирования может быть потеряна, если делать выборку по полю, которое не используется как индекс для деления на партиции.

UPD. Во время переноса (код выше) - совершайте свое действие/действия. Все операции по обновлению вынесите в SQL. Создали новую таблицу -> перенесли в нее данные -> удалили старую -> переименовали новую.

2
  • Зачастую, и даже сейчас, нужно пройтись именно по всем записям, даже where здесь не нужно.
    – frops
    17 июн 2013 в 13:37
  • Погодите. Что значит - пройтись по всем записям? Вроде как таблица предполагает, что в нее добавляются новые данные, меняются некоторые из имеющихся, делаются те или иные выборки. Мне кажется, что стоит подумать над архитектурой: если приходится обновлять все данные или делать выборку по всем и вся, то добавьте группы (или типы) пользователей, партиципируйте по типу - будет легче. 17 июн 2013 в 13:48
1

Лучше 100 раз запустите скрипт с лимитом 1000, раз все так тяжело. В вашей ситуации я бы предложил сделать обновление на уровне SQL. Если же требуется какое-то более осмысленное действие - разбивка скрипта и запуск по планировщику или при помощи цикличного Javascript.

Еще вариант - разбивка таблицы. Например, по месяцам. Но это уже из области извращения

6
  • Ситуация настолько ужасна, что даже если выбирать по 1000 строк - "was interrupted". А при 10 - выполняется - 30 секунд ((
    – frops
    17 июн 2013 в 9:00
  • 2
    Огого... А попробуйте добавить индекс по дате. Обычный, не unique
    – knes
    17 июн 2013 в 9:04
  • Убирал полностью конструкцию WHERE из запроса. НЕ помогало ((
    – frops
    17 июн 2013 в 9:06
  • Поддерживаю идею индекса по дате
    – SoWa
    17 июн 2013 в 12:09
  • @knes, да ладно, никакие это не извращения, а вынужденная необходимость. Только вот как-то настораживает объем таблицы с заказчиками. Это ж достаточно серьезная нагрузка: если не перепутаны сущности, то в таблице заказов вообще записей уйма. Возможно, имеет смысл разбить БД на несколько. 17 июн 2013 в 13:42

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.