3

Есть csv-файл 1Гб, с 80к предикторов, 10к наблюдений, некоторые наблюдения битые, поэтому нужно использовать error_bad_lines=False . Из всех 80к признаков, меня интересуют все признаки имеющие в имени строку executions. Как можно прочитать csv, не перегружая память и выводя ТОЛЬКО нужные столбцы в DataFrame?

1 ответ 1

2

Я бы делал это так:

сначала читаем только одну строку с заголовками (именами) столбцов

In [239]: cols = pd.read_csv(filename, nrows=0).columns

In [240]: cols
Out[240]: Index(['id', 'executions_01', 'another_01', 'executions_02', 'another_02', 'executions_03', 'another_03'], dtype='object')

получим список нужных нам полей:

In [243]: cols = cols[cols.str.contains('executions_')].tolist()

In [244]: cols
Out[244]: ['executions_01', 'executions_02', 'executions_03']

теперь можем читать только нужные поля, сэкономив память:

In [248]: df = pd.read_csv(filename, usecols=cols, error_bad_lines=False)

In [249]: df
Out[249]:
   executions_01  executions_02  executions_03
0              1              1              1
1              2              2              2
2              3              3              3

как вписать ИЛИ в условие паттернов? "executions || id"?

In [31]: cols = cols[cols.str.contains('(?:^id$|executions_)')].tolist()

In [32]: cols
Out[32]: ['id', 'executions_01', 'executions_02', 'executions_03']

тестовый CSV файл:

id,executions_01,another_01,executions_02,another_02,executions_03,another_03
1,1,1,1,1,1,1
2,2,2,2,2,2,2
3,3,3,3,3,3,3
2
  • Спасибо! Работает хорошо! 9 ноя 2018 в 10:20
  • а как вписать ИЛИ в условие паттернов? "executions || id"? 9 ноя 2018 в 10:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.