2

Как написать функцию в Python3, которая бы собирала комментарии по ошибкам DataFrame в отдельный столбец Comments? DataFrame состоит из трех столбцов Type, City, Country. Задача функции найти все 'Not assigned' и собрать их в виде человекочитаемых комментариев в новую серию Comments. Так как в DataFrame будут добавляться столбцы, например, деньги, то функция должна быть гибкой для проверки на неравенство 0, например. Ниже, привел ссылку о том, что я начал делать.

Пример DataFrame:

Type    City    Country Comments
Type1   ДОМОДЕДОВО  RU  
Type1   ДОМОДЕДОВО  RU  
Type1   МО, ВНУКОВО RU  
Not assigned    Not assigned    RU  Заполните поле Type, заполните поле City
Type1   ВНУКОВО RU  
Type1   САРАТОВ RU  
Type1   ТУРКМЕНАБАД RU  
Type1   Not assigned    Not assigned    заполните поле City, заполните поле Country
Type1   КОРЕНОВСК   RU  
Not assigned    ХАБАРОВСК   RU  
Type1   СИМФЕРОПОЛЬ Not assigned    заполните поле Country
Type1   МОСКВА  RU  

Предисловие к данной теме здесь: Функция для построчной проверки датафрейм по условию.

Код:

def CheckErrors(df):

error = []

City = df['Oppertunity City']
Type = df['Opportunity Type']
Country = df['Oppertunity Country']

for countries in Country:
    if countries == 'Not assigned':
        error.append ('Не указан Oppertunity Country')

for types in Type:
    if types == 'Not assigned':
        error.append ('Не указан Oppertunity Type')

for cities in City:
    if cities == 'Not assigned':
        error.append ('Не указан Oppertunity City')


error = ','.join(error)

error = df['Error']

return error


df['Error'] = df.apply(CheckErrors, axis=1)

В результате получаю ошибку:

TypeError: ("'float' object is not iterable", 'occurred at index 736')

В строке 736 есть значение NaN в серии City. Подозреваю, что ошибка из-за него возникает.

1 ответ 1

3

Я бы попробовал сделать это следующим образом:

  • создать словарь с правилами проверок для текстовых и числовых столбцов
  • сгенерировать нужный текст для непрошедших проверки строковых и числовых значений

Пример:

сгенерируем несколько числовых столбцов:

np.random.seed(31415)
df['Value'] = np.random.randint(20**6, size=len(df))
df.loc[::3, 'Value'] = 0
df['Float'] = np.random.rand(len(df)) * 100
df.loc[1::4, 'Float'] *= -1
df.loc[9, 'Float'] = np.nan

Исходный DataFrame:

In [12]: df
Out[12]:
            Type          City       Country     Value      Float
0          Type1    ДОМОДЕДОВО            RU         0  48.670972
1          Type1    ДОМОДЕДОВО            RU   3545255 -62.099358
2          Type1   МО, ВНУКОВО            RU  14169827  64.351246
3   Not assigned  Not assigned            RU         0  40.036957
4          Type1       ВНУКОВО            RU   8392293  87.521911
5          Type1       САРАТОВ            RU  23606696 -60.860645
6          Type1   ТУРКМЕНАБАД            RU         0  10.669999
7          Type1  Not assigned  Not assigned   7368070  25.430889
8          Type1     КОРЕНОВСК            RU  12093958   3.547000
9   Not assigned     ХАБАРОВСК            RU         0 -50.116423
10         Type1   СИМФЕРОПОЛЬ  Not assigned  47643934  61.744470
11         Type1        МОСКВА            RU  18300757  31.563629

Решение:

#словарь проверок:
invalid_entries = {
  'object': ['Not assigned', '', None],
  'number': ['{col_name} <= 0', '{col_name} != {col_name}'],
}

#функция проверки строковых столбцов:
def chk_str_cols(df, inv_vals):
    cols = df.columns[df.dtypes.eq('object')]
    txt = (df[cols].replace(inv_vals, [np.nan] * len(inv_vals))
                   .isnull()
                   .apply(lambda x: x.map({
                            True: 'Заполните поле [{}];'.format(x.name),
                            False:''}))
                   .sum(1))
    return txt

#функция проверки числовых столбцов:
def chk_num_cols(df, formulas):
    cols = df.columns[df.dtypes.map(lambda x: np.issubdtype(x, np.number))]
    def chk_formula(df, formula):
        txt = (df[cols]
                .apply(lambda c: df[[c.name]].eval(formula.format(col_name=c.name))
                                             .map({
                                                True:'{};'.format(formula.format(col_name=c.name)),
                                                False:''}))
                .sum(1))
        return txt
    res = pd.Series('', index=df.index)
    for formula in formulas:
        res += chk_formula(df, formula)
    return res

df['Comments'] = ((chk_str_cols(df, invalid_entries['object'])
                   + chk_num_cols(df, invalid_entries['number']))
                  .str.replace(';','; '))

Результат:

In [42]: df
Out[42]:
            Type          City       Country     Value      Float  \
0          Type1    ДОМОДЕДОВО            RU         0  48.670972
1          Type1    ДОМОДЕДОВО            RU   3545255 -62.099358
2          Type1   МО, ВНУКОВО            RU  14169827  64.351246
3   Not assigned  Not assigned            RU         0  40.036957
4          Type1       ВНУКОВО            RU   8392293  87.521911
5          Type1       САРАТОВ            RU  23606696 -60.860645
6          Type1   ТУРКМЕНАБАД            RU         0  10.669999
7          Type1  Not assigned  Not assigned   7368070  25.430889
8          Type1     КОРЕНОВСК            RU  12093958   3.547000
9   Not assigned     ХАБАРОВСК            RU         0 -50.116423
10         Type1   СИМФЕРОПОЛЬ  Not assigned  47643934  61.744470
11         Type1        МОСКВА            RU  18300757  31.563629

                                                      Comments
0                                                 Value <= 0;
1                                                 Float <= 0;
2
3   Заполните поле [Type]; Заполните поле [City]; Value <= 0;
4
5                                                 Float <= 0;
6                                                 Value <= 0;
7            Заполните поле [City]; Заполните поле [Country];
8
9              Заполните поле [Type]; Value <= 0; Float <= 0;
10                                  Заполните поле [Country];
11
2
  • спасибо! Круто, но не ожидал что такое сложное решение будет. Нужно переварить) Огромное спасибо за ваше время и знания! 12 апр 2018 в 11:47
  • @DenisNovik, пришлось выбирать между простотой и гибкостью... ;) 12 апр 2018 в 11:48

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.