1

В таблице предполагается хранить больше миллиарда записей с четырьмя полями: два текстовых по два знака, одно поле с маленькими целочисленными значениями (не превышает трёхсот) и одно булевое.

Как это лучше всего сделать? Это как-то не сильно помогает.

8
  • 1
    допустим, что символы кириллицы (что бы побольше, то есть 33 штуки). Получается следующее 1000000000/(33 * 33 * 33 * 33 * 300 * 2) = 1.4 То есть, треть базы - будет дубликатом (как минимум треть). А это странно. Может расскажите, что это такое там будет храниться? Тогда может и предложения по оптимизации будут. А страница с руководства по питону и не должна помогать понимать, как хранить такое кол-во данных.
    – KoVadim
    4 авг 2014 в 8:33
  • @KoVadim, 1.4 чего и как вы это подсчитали? Хранить будем латинские символы, да и то только 4 различных символа.
    – Nele Cools
    4 авг 2014 в 8:48
  • я посчитал кол-во возможных различных строк в базе. 1.4 - это значит, что кол-во записей в базе на больше на 40% возможно количества уникальных вариантов. Если букв будет всего 4, то каждое строковое поле будет по 16 вариантов, а всего 16*16*300*2 = 153600 вариантов. Поэтому, может просто занумеровать данные и хранить только числа?
    – KoVadim
    4 авг 2014 в 8:53
  • Программе важно, насколько часто все эти варианты повторяются и как их количество будет изменяться со временем.
    – Nele Cools
    4 авг 2014 в 9:07
  • 1
    учитывая то, что в Вашей базе нет поля времени, делать анализ по времени будет сложно (если только программа не генерирует известное кол-во записей в единицу времени). Вернемся к собственно вопросу. Так что же не получается сделать? Выполнить запрос на таких объемах, питон ругается на базу, Вы не знаете, как посчитать кол-во одинаковых записей. Может просто сохранять в текстовый файл (это будет даже быстрее работать), а потом простым циклом считать статистику.
    – KoVadim
    4 авг 2014 в 9:42

1 ответ 1

1

Я бы вообще вам рекомендовал при таких жутких объёмах пользовать модуль shelve. Это интерфейс словаря к базе данных sqlite3.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.