4

Здравствуйте, друзья!

У меня очень серьезная проблему по созданию структуры БД.

У меня есть о-очень много пользователей, у каждого будут свои категории(которые он сам будет создавать), в категориях будут "папки" данной категории, которые тоже будет создавать пользователь, а в "папках" будут ссылки, ссылок будет очень много и они будут ежедневно даже ежечасно добавляться.

Я думал создать отдельную таблицу для ссылок, но он очень быстро пополнится, и это меня пугает.

Вопрос: Есть какие то идеи?

Буду рад любой идей.

Заранее спасибо.

7
  • Может можно как-то типизировать ссылки? К примеру долгого хранения, кратковременные или ещё как-то? Таблицы ссылок ссылается на таблицу папок, которая в своё время ссылается на таблицу юзеров?
    – chubatiy
    4 окт 2016 в 12:56
  • @Chubatiy Нет, к сожалению у нас нет такой системы типизации, да сначала на таблицу папок, далее на таблицу категории и в конце на юзеров. 4 окт 2016 в 13:01
  • Какая БД на данный момент используется и примерно каков объем таблицы ссылок?
    – chubatiy
    4 окт 2016 в 13:02
  • ооочень много это сколько? У вас все ссылки уникальные? 4 окт 2016 в 13:03
  • Если речь идет о десятках миллионов, то Вам на помощь придут партиционные таблицы, по ключу папок или категорий, в зависимости от того на сколько много ссылок хранится в папке/категории. Если же объем данных будет меньше, не вижу смысла заморачиваться, все можно хранить в одной таблице, с простой привязкой по парентам. 4 окт 2016 в 13:10

1 ответ 1

2

Не стоит делать из этого проблему. Производительность вашей РСУБД зависит от используемого железа (правильную архитектуру не забываем здесь). Поставили SSD диск, мощный процессор, побольше памяти и никаких проблем с производительностью при средней нагрузке не будет на выгрузках, но если у вас большая нагрузка, и еще не только выгрузки, а еще всякие расчеты, то против природы не пойдешь, большие данные требуют больших ресурсов для обработки. Нужно больше чтения - подняли второй сервер в режиме слейва.

Чисто теоретический, один сервер, в котором один диск на 480 ГБ, при максимальном размере ссылки в 1024 символа, может хранить где-то 400 млн записей в таблице ссылок у Вас даже не возникнет проблем размещения всего этого на одном сервере, главное сделайте индексы на свои папки.

Иногда используют словарный подход для контроля ссылок, это таблица вида id - hash - value, позволяет сократить расходы на одинаковые ссылки, но также требует ресурсов для работы, применять нужно, только если есть необходимость в этом функционале.

Не беспокойтесь, если объем таблицы перевалит за размер одного сервера, тогда займетесь партицированнием таблицы и способами кластеризации вашего сервера.

6
  • Сайт на данные момент находится на AWS, еще пока не думает приобрести собственный сервер, на простом SQL какой вариант более оптимальный? 4 окт 2016 в 13:19
  • @HakobShaghikyan Ваша структура верная, которая указана в посте, и все будет нормально, появились тормоза, значит индекс не помещается в память или нагрузка выросла - докупите ресурсов. Не пугайтесь большого размера таблицы, вы будете всегда работать только с частью данных, а не со всеми данными и индексы помогут Вам быстро выбирать этот кусок данных для обработки. Как я и говорил, кэширования и правильной архитектуры вне сервера БД никто не отменяет.
    – Firepro
    4 окт 2016 в 13:29
  • Да, работать будет только с частью таблицы, но когда таблица ссылок будет в примеру 15 млн строк, для каждого юзера получать где-то 1000 ссылок не займёт много времени? 4 окт 2016 в 13:36
  • @HakobShaghikyan Выборка по индексу всегда работает очень быстро, если он помещается в память, почитайте их устройство. На нашей базе из 100 млн записей, выборка 1000 строк занимает 0.02 секунды по индексу. 1000 ссылок это примерно 1 мегабайт, максимум могут добавиться какие-то накладные расходы на передачу. Все будет медленно, как только вы попытаетесь делать какие-то сортировки не затрагивающие индексы и т.д. Дисковые операции всегда были дорогие.
    – Firepro
    4 окт 2016 в 13:46
  • Какие минимальные требования для сервера чтобы запрос в 100млн строк совершал быстро? 4 окт 2016 в 13:49

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.