0

Два дня назад, я случайным образом добавил 140 000 строк в таблицу БД. До этого работало всё отлично, на быстродействие не жаловался. Но после этого, я заметил что безобидная перезагрузка страницы может длиться от 3-5 секунд до 20-30. Иногда просто выдает Fatal Error о превышение лимита времени запроса. Когда в таблице всего 100-200, даже 1000 строк, работает нормально. Но если больше (5000+), то уже замечается медленная скорость выполнения.
Я где-то читал, что для php такая цифра как 2 000 000 (2 миллиона) строк при выбокре с базы - сущий пустяк. Ага, как бы не так...

Вот структура таблицы:

  CREATE TABLE `news_content` (

    `id` INT(11) NOT NULL AUTO_INCREMENT,
    `url` VARCHAR(455) NOT NULL,
    `title` VARCHAR(200) NOT NULL,
    `content` TEXT NOT NULL,
    `meta_title` TEXT NOT NULL,
    `meta_description` TEXT NOT NULL,
    `meta_keywords` TEXT NOT NULL,
    `date_time` VARCHAR(60) NOT NULL,
    `visible` INT(11) NOT NULL DEFAULT '1',
    `deleted` INT(11) NOT NULL DEFAULT '0',
    PRIMARY KEY (`id`))
  COLLATE='utf8_general_ci' ENGINE=InnoDB 

Вот мой запрос на выборку:

$query_content = "SELECT url, title, content 
                  FROM   news_content 
                  WHERE  news_content.deleted=:deleted 
                  ORDER BY id DESC 
                  $limit";

$query_images  = "SELECT * 
                  FROM news_images 
                  WHERE news_images.deleted=:deleted";

$this->_pdo->prepare($query_content);
$this->_pdo->bind(':deleted', 0);
$allNewsContent = $this->_pdo->fetchAll();
$this->_pdo->prepare($query_images);
$this->_pdo->bind(':deleted', 0);
$tempImages = $this->_pdo->fetchAll();

Немного о коде:

$limit - я указываю не везде. Ниже объясню.

Приведу пример генерации Главной страницы и страницы Новости

switch ($view) {
    case 'main':
      $ProductsModel  = new ProductsModel();
      $productArray   = $ProductsModel->getAllProducts(2);//здесь указан лимит

      $NewsModel = new NewsModel();
      $newsArray = $NewsModel->getAllNews(8);//здесь указан лимит
    break;

    case 'news':
      $NewsModel      = new NewsModel();
      $newsArray      = $NewsModel->getAllNews();
      $pageNavigation = new Pagination($newsArray, $_limitPerPage);
       //Навигация: Получаю весь масив, потом делю его на равные части |  array_chunk() 
      $newsContent    = $pageNavigation->dividedArray($_position);
    break;
}

Но, кроме этого, у меня есть блок новостей в правой части и в футере сайта, то есть:

$NewsModel      = new NewsModel();
$footerNews     = $NewsModel->getAllNews(2);//здесь указан лимит
$rightTopNews   = $NewsModel->getAllNews(8);//здесь указан лимит
$rightBotNews   = $NewsModel->getAllNews();
$rightBotNew    = DataAssist::shuffle($rightBotNews, 3);//Получаю весь массив, 
                                                       //и выбираю 3 случайные новости

        /** Эту часть кода я вызываю на каждой странице своего сайта **/

Я уже не знаю что делать, чтобы скорость работы сайта не беспокоила. В общем, на этом сайте такого количиства новостей скорее всего никогда не будет, но для себя хочу знать что нужно предпринять чтобы в будущем с такой проблемой не сталкивался. Спасибо.

Если нужна еще какая-то информация, с радостью предоставлю. Всё ради решения вопроса.

3
  • а эти 140к строк если не нужны, может удалить их и продолжать дальше радоваться жизни, а не заниматься преждевременной оптимизацией?))) кстати, я в ходе экспериментов по одному проекту (тут в соседних темах жуем) выбрал MyISAM - на 2 млн строк разница с InnoDB оказалась катастрофичной! 0.02сек и что-то типа 22сек!! выборка по двум условиям. 1 окт 2016 в 19:07
  • 2
    Не понимаю, зачем выбирать из БД все новости, ни один человек не будет читать на странице 140к новостей. надо выбирать столько, сколько отображаете для разового чтения. А получение случайных новостей лучше реализовать непосредственно в БД. что бы не тащить ради 3х новостей все. О получении случайных записей в БД можно почитать например тут ru.stackoverflow.com/questions/21904
    – Mike
    1 окт 2016 в 19:15
  • У вас в запросах есть сравнение поля deleted и нету индекса по этому полю. Попробуйте добавить и посмотрите на результат 1 окт 2016 в 19:38

2 ответа 2

3

Вы, конечно, гений.

case 'news':
      $NewsModel      = new NewsModel();
      $newsArray      = $NewsModel->getAllNews();
      $pageNavigation = new Pagination($newsArray, $_limitPerPage);
       //Навигация: Получаю весь масив, потом делю его на равные части |  array_chunk() 
      $newsContent    = $pageNavigation->dividedArray($_position);
    break;

Зачем вы выбираете все новости, чтобы сделать постраничный вывод. Вполне можно ограничиться запросом

SELECT COUNT(*) FROM news_content;

Затем использовать LIMIT $page * $per_page, $per_page;

Еще одно место

$rightBotNews   = $NewsModel->getAllNews();
$rightBotNew    = DataAssist::shuffle($rightBotNews, 3);

Можно

SELECT * FROM news_content ORDER BY RAND() LIMIT 3;
0

Согласен с ArchDemon. Хочу лишь добавить, что ещё не лишним будит использование индексов на столбцах часто участвующих в условиях выборки. Т.е. учитывая примеры запросов, предоставленных автором я бы создал индекс для столбца "deleted" и подозреваю, что для "visited" тоже.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.