Помогите в оптимизации работы с базой данных
Есть база товаров, довольно большая и которая постоянно увеличивается. На данный момент там находиться около 10 миллионов товаров.
Есть товар и есть категория. У товара есть атрибуты название, цена, количество проданных товаров, флаги гарантии, качества, и т д. Есть свойства товаров характерные только для определенной категории. Свойства товаров имеют вид - 2000:10000 (категория свойства: значение свойства). Некоторые категории свойств и сами свойства могут пересекаться у различных категорий, например бренд. По ним необходимо производить фильтрацию и сортировку и поиск по названию и свойству. Товар может быть привязан к одной или нескольким категориям.
Сначала использовали только mysql, и хранили товары создавая таблицу для каждой категории, так у нас получалось около 6 – 7 тысяч таблиц с товарами, при выборке делали запросы в каждую обедняя при этом запросы оператором UNION. При увеличении товаров, и категорий выборка стала занимать очень много времени и ложит mysql сервер. Далее перенесли все товары в одну таблицу. Структура таблиц следующая.
Таблица с 10 миллионами товаров теперь напрягает mysql, выбор из нее не совсем возможен, не говоря уже о сортировке. - Прикрутили sphinx, индекс sphinx:
sql_query = \
SELECT \
ti.item_id, \
ti.item_id AS iid, \
crc32(ti.item_nick) AS nick, \
ti.item_title AS title, \
ti.item_sold AS sold, \
ti.item_rating AS rating, \
ti.item_popular AS popular, \
ti.item_warranty AS warranty, \
ROUND(ti.item_price*100, 0) AS price, \
ti.item_props AS props, \
COUNT(c.comment_iid) AS comments, \
GROUP_CONCAT(tcir.category_item_ref_tid) AS tids \
FROM item AS ti \
LEFT JOIN comment AS c ON ti.item_id = c.comment_iid \
INNER JOIN category_item_ref AS tcir ON ti.item_id = tcir.category_item_ref_iid \
GROUP BY ti.item_id
sql_attr_uint = sold
sql_attr_uint = rating
sql_attr_uint = comments
sql_attr_uint = warranty
sql_attr_bigint = iid
sql_attr_bigint = nick
sql_attr_bigint = price
sql_attr_bigint = popular
sql_attr_multi = uint tids from field;
Поиск через Sphinx работает быстрее, но так как много атрибутов, в частности присутствует sql_attr_multi tids, что тормозит, почему то поиск и сортировку. Время выборки 600 тысяч товаров, составляет около 18~19 секунд. Пробовали привязывать товары только к одной категории, то есть атрибут tids у нас стал sql_attr_uint. Время выборки уменьшилось, до 3~5 секунд, что тоже не сильно хорошо.
Подскажете, что я делаю не так, возможно стоит, как то по-другому построить индекс для sphinx, потому что мне кажется, он должен работать быстрее. Возможно, как то нужно по-другому построить структуру таблиц, или использовать другую платформу для базы данных, например MySQL, MongoDB, PostgreSQL, MariaDB.