2

Есть датафрейм (см. пример). В сериях датафрейма есть пропуски.

Как выполнить проверку на эти пропуски и результаты проверки записать в новую серию d?

    a   b   c   d
0   1   -   -   нет числа, нет числа
1   3   4   6   
2   -   7   4   нет числа
3   6   5   -   нет числа

Я начал делать так:

  • прошелся циклом по каждой серии и собрал все найденные ошибки в список

  • далее список перевел в строку с помощью join, хотя может это и не нужно делать

  • далее применил данную функцию к датафрейму с помощью метода apply.

В результате рассчитывал получить в каждой строке серии d список пропусков этой же строки из серий a, b и c, но получаю ошибку KeyError.

Что поправить в функции или как по другому можно написать?

1 ответ 1

2

Если в DataFrame на месте пропусков находятся знаки минуса:

In [27]: df
Out[27]:
   a  b  c
0  1  -  -
1  3  4  6
2  -  7  4
3  6  5  -

In [28]: df['d'] = [', '.join(['нет числа'] * x) for x in df.eq('-').sum(axis=1)]

In [29]: df
Out[29]:
   a  b  c                     d
0  1  -  -  нет числа, нет числа
1  3  4  6
2  -  7  4             нет числа
3  6  5  -             нет числа

пошагово:

In [178]: df.eq('-')
Out[178]:
       a      b      c
0  False   True   True
1  False  False  False
2   True  False  False
3  False  False   True

суммируем True (1) построчно:

In [179]: df.eq('-').sum(axis=1)
Out[179]:
0    2
1    0
2    1
3    1
dtype: int64

пример репликации списка и объединения всех элементов в строку:

In [180]: ', '.join(['нет числа'] * 3)
Out[180]: 'нет числа, нет числа, нет числа'

значения для нового столбца:

In [181]: [', '.join(['нет числа'] * x) for x in df.eq('-').sum(axis=1)]
Out[181]: ['нет числа, нет числа', '', 'нет числа', 'нет числа']

если в DF пропуски (NaN):

In [34]: df
Out[34]:
     a    b    c
0  1.0  NaN  NaN
1  3.0  4.0  6.0
2  NaN  7.0  4.0
3  6.0  5.0  NaN

In [35]: df['d'] = [', '.join(['нет числа'] * x) for x in df.isnull().sum(axis=1)]

## -- End pasted text --

In [36]: df
Out[36]:
     a    b    c                     d
0  1.0  NaN  NaN  нет числа, нет числа
1  3.0  4.0  6.0
2  NaN  7.0  4.0             нет числа
3  6.0  5.0  NaN             нет числа
6
  • MaxU, спасибо! А что если в каждой серии будут разные, но заранее известные ошибки вместо знаков "-" и комментарии в серии d тоже будут разные для ошибки каждой серии вместо однообразного "нет числа"? Еще, если можно несколько вопросов по вашему решению? Что делает ', '.join(['нет числа'] * x? И .sum(axis=1) может накапливать текстовые значения? 11 апр 2018 в 4:18
  • 1
    @DenisNovik, я добавлю пояснения когда доберусь до компьютера. Вы можете пояснить что вы пытаетесь сделать? Т.е. не этот конкретный шаг, а чуть более глобально... 11 апр 2018 в 5:36
  • у меня есть датафрейм, в сериях которого в строках бывают записи типа "Not assigned" или числа которые меньше 10000. Я хотел написать функцию, которая соберет все ошибки в строке каждой серии и человеческим языком в серии d скажет пользователям, что в этой строке в серии a нужно исправить это, в серии b это, а в серии c это. Вот, что пытаюсь реализовать 11 апр 2018 в 16:31
  • большое спасибо за объяснения по моим вопросам. Как всегда четко и доходчиво! 11 апр 2018 в 16:36
  • @DenisNovik, можно сделать более детальные проверки для разных случаев, но для этого понадобится воспроизводимый пример исходного DF и пример того, что вы хотите получить на выходе. Я думаю лучше будет оформить это отдельным вопросом... 11 апр 2018 в 19:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.