3

Есть DataFrame, например с таким содержанием:

Пример DataFrame

Задача разбить DataFrame по файлам, в которых будет заданное количество строк (задано в переменной) и файл остаток, если осталось не кратное содержимое. Также каждый файл должен быть пронумерован порядковым номером сохранения.

В жизни файл имеет около 10 000 - 50 000 строк. Возможно это важно. Если есть вариации по оптимизации - буду рад их увидеть ( например этот df будет содержать более 10 000 000 строк и бить по файлам в целях оптимизации ресурсов нужно будет как-то иначе.

По DataFame из примера (в df 5 строк) должны получиться такие файлы:

  • sample_1_2.csv
  • sample_2_2.csv
  • sample_3_1.csv

1 ответ 1

1

Пример:

df = pd.DataFrame(np.random.randint(10, size=(33, 3)), columns=list('abc'))

n = 10

(df.assign(x=np.arange(len(df)) // n)
   .groupby('x')
   .apply(lambda g: g.drop('x', 1)
                     .to_csv('d:/temp/file_{:03d}_{}.csv'
                             .format(g['x'].values[0], len(g)),
                             index=False)))

список получившихся файлов:

file_000_10.csv
file_001_10.csv
file_002_10.csv
file_003_3.csv
3
  • Добрый день @MaxU. Спасибо - действительно работает почти как надо. На выходе получил три файла с порядковым номером, но за порядковым номером в имени должно следовать значение суммарного количества строк в каждом файле. :-)
    – APmansib
    24 июл 2018 в 9:19
  • также я понимаю, что всё усложнится в том случае, если в решение от @MaxU добавить желание обработать файл (разбить) применяя выборку столбцов. Например я хочу сделать всё тоже самое, но с df['a'] Выскочит AttributeError: 'Series' object has no attribute 'assign'. Как в этом случае быть?
    – APmansib
    24 июл 2018 в 9:52
  • @APmansib, используйте df[['a']] - это вернет DataFrame с одним столбцом 24 июл 2018 в 11:23

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.