0

Сам вопрос: существует ли способ работы с большими объемами данных в питоне, если количество оперируемых строк примерно 1-1,5 миллиарда, а объем ОЗУ ограничен 16ГБ? Структура данных следующая: список кортежей, которые всегда состоят из двух элементов, первый из которых строка, второй - число. Данные выгружаются из БД. Пример структуры:

[
('hgasuhga', 1546873),
('dhfgusure', 68874840),
...
('jaghusglkjasd', 1565748)
]

Мне необходимо сгруппировать эти данные в defaultdict, ключом которого будет число, а значением - строка. Соответственно, получится следующая структура:

 {
  545158: ['dsh','sryhgesrt','srytg','rstg'],
  5645847568: ['tsst','aers'],
  ...
  698: ['adstg','datss','dtsa']
 }

Я могу выгружать данные в список (так примерно раза в 3 быстрее) или сразу в словарь. Мои 16 Гб ОЗУ заканчиваются примерно на 140 миллионах записей, если я использую список, и на 176 миллионах записей, если сразу выгружать в словарь. Рассматривал вариант выгружать данные итерационно, а не все сразу, но тогда группировка не отработает корректно, а будет действовать в пределах выгружаемой итерации (поправьте, пожалуйста, если ошибаюсь).

18
  • 1
    проще, быстрее и правильнее сделать это на стороне БД ;) Кстати укажите пожалуйста в вопросе метку вашей БД, т.к. решение может отличаться в зависимости от диалекта SQL /No-SQL БД 18 авг 2020 в 10:21
  • Проще - согласен, быстрее - вряд-ли, насчет правильнее не знаю. Обработка на стороне базы моих запросов занимает примерно 3 часа, на питоне я это могу сделать за 30 минут примерно. Плюс я в БД и sql не особо уверенно себя чувствую, так что мне проще выгружать данные в питон со скоростью 1.5 миллиона записей в секунду, чем воевать с базой. БД - Clickhouse 18 авг 2020 в 10:25
  • в БД самая медленная операция это чтение данных с диска - в вашем случае вам сначала придется прочитать все данные из БД, потом прогнать их по сети (если БД не на том же сервере) и уже потом обрабатывать полученные данные в Python. 18 авг 2020 в 10:28
  • БД на том же сервере, так что тут проблемы нет. основная проблема в моей слабости с работой в sql, так что проще потерпеть, пока будут выгружены нужные мне данные, чем извращаться с запросами. Кстати, вроде даже если выполнять группировку через запрос, тоже возникают проблемы из-за группировки (использовал Group by). Так что я предпочел все таки работать в питоне. 18 авг 2020 в 10:35
  • 2
    @Сергей ClickHouse может заранее просчитывать агрегаты - см AggregatingMergeTree - таким образом, он сам будет производить все вычисления, а получение искомого результата будет очень быстрым. У вас есть права на добавление новой табл в CH? Если нет, то вероятно, если рассматривать решение задачи на стороне CH нужно подключать вашего DBA.
    – vladimir
    18 авг 2020 в 11:23

1 ответ 1

4

Для решения я бы рассмотрел 2 пути:

  1. ClickHouse side

ClickHouse может заранее просчитывать агрегаты - см AggregatingMergeTree - таким образом, он сам будет производить все вычисления, а получение искомого результата будет очень быстрым.

  1. App side

Использование потокового API и обработка данных поблоково с использованием clickhouse_driver.

from clickhouse_driver import Client

client = Client(host='localhost')

settings = {'max_block_size': 1_000_000}
rows_gen = client.execute_iter(
    # just emulate origin dataset
    'SELECT toString(number % 4096) AS key, number % 1024 AS value '
    'FROM system.numbers '
    'LIMIT 1000111222', settings=settings)

result = {}

for row in rows_gen:
    if row[1] not in result:
        result[row[1]] = []

    result[row[1]].append(row[0])

print(result)

requirements.txt

clickhouse_driver

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.