1

Столкнулся с такой проблемой.

В мой код извне приходят данные в csv. Я создаю из него датафрейм и дальше с ним работаю. Параметры имеют такой вид:

df = pandas.read_csv(f, header=None, index_col=False,
                     delimiter='\t',
                     names=name_list, dtype=dtype_dict, 
                     converters=converters_dict, usecols=usecols_list
                     )

Проблема в том, что источник, откуда приходят данные с некоторых пор для некоторых данных отдаёт CSV без последнего столбца и в этом случае мой код падает с ошибкой:

Too many columns specified: expected 21 and found 20

Мне в таком случае нужно, чтобы код всё равно создавал датафрейм с 21 столбцами, просто последний должен быть заполнен пустыми значениями.

Можно конечно делать предварительно проверку на количество столбцов в приходящем CSV, в зависимости от этого делать список с именами либо из 20, либо из 21 значения, а потом либо добавлять, либо не добавлять ещё одну колонку.

Но это какой-то костыль. Нет ли какого-то параметра, чтобы pandas сам создавал последние пустые столбцы, если имён больше, чем реальных столбцов в данных?

1
  • Не нужно дублировать метки в заголовке.
    – insolor
    18 окт 2019 в 13:26

2 ответа 2

2

Вероятно, следует использовать параметр names и не использовать usecols, если не уверены в количестве данных, либо быть уверенным, что длины names и usecols равны.

Исходный csv:

a,b
a,b,c,d
a,b,c
a,b,c

код:

import pandas as pd

df = pd.read_csv('111.csv', names=list(range(1,10)))
print(df)

результат:

   1  2    3    4   5   6   7   8   9
0  a  b  NaN  NaN NaN NaN NaN NaN NaN
1  a  b    c    d NaN NaN NaN NaN NaN
2  a  b    c  NaN NaN NaN NaN NaN NaN
3  a  b    c  NaN NaN NaN NaN NaN NaN
1

Не знаю существует ли какой-то отдельный параметр, на ум приходит только решение создать пустой датафрейм с нужным количеством столбцов и к нему, с помощью append() добавить датафрейм, созданный из CSV файла.

In [6]: import pandas as pd

In [7]: pd.read_csv('test.csv')
Out[7]: 
   one  two
0    1    2
1    2    3
2    5    6

In [8]: df = pd.DataFrame(columns=['one', 'two', 'three'])

In [9]: df
Out[9]: 
Empty DataFrame
Columns: [one, two, three]
Index: []

In [10]: df = df.append(pd.read_csv('test.csv'), sort=False)

In [11]: df
Out[11]: 
  one two three
0   1   2   NaN
1   2   3   NaN
2   5   6   NaN

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.