1

Коллеги, приветствую!Подскажите, пожалуйста, почему при выполнении merge некоторые данные у меня затираются (NaN), в зависимости от how?

введите сюда описание изображения

1 ответ 1

1

NaN появляется при использовании "outer-joins" (left,right,outer) в случае когда в подчиненной таблице нет данных в "связном" столбце (Person Responsible в вашем случае). Т.е. NaN можно рассматривать как NULL в реляционных СУБД...

Пример:

Данные:

In [8]: a = pd.DataFrame({'ID':[1,2,3], 'A':[11,12,13]})

In [9]: b = pd.DataFrame({'ID':[3,4], 'B':[200,300]})

In [10]: a
Out[10]:
    A  ID
0  11   1
1  12   2
2  13   3

In [11]: b
Out[11]:
     B  ID
0  200   3
1  300   4

how='inner' (SQL: inner join):

In [12]: a.merge(b, on=['ID'])
Out[12]:
    A  ID    B
0  13   3  200

how='left' (SQL: left outer join) - в выборке все записи из "левой таблицы - a" и только те из правой, у которых существует сооств. ID:

In [13]: a.merge(b, on=['ID'], how='left')
Out[13]:
    A  ID      B
0  11   1    NaN
1  12   2    NaN
2  13   3  200.0

how='right' (SQL: right outer join) - в выборке все записи из "правой таблицы - b" и только те из левой, у которых существует сооств. ID:

In [15]: a.merge(b, on=['ID'], how='right')
Out[15]:
      A  ID    B
0  13.0   3  200
1   NaN   4  300

how='outer' (SQL: full outer join) - в выборке все записи из обеих таблиц:

In [16]: a.merge(b, on=['ID'], how='outer')
Out[16]:
      A  ID      B
0  11.0   1    NaN
1  12.0   2    NaN
2  13.0   3  200.0
3   NaN   4  300.0

Но самое "интересное" начинается когда у вас в связном столбце(ах) появляются дупликаты - в результирующем наборе будут все комбинации из двух таблиц:

In [17]: a.loc[len(a)] = [14, 3]

In [18]: b.loc[len(b)] = [400, 3]

In [19]: a
Out[19]:
    A  ID
0  11   1
1  12   2
2  13   3  # duplicates for ID: 3
3  14   3  # duplicates for ID: 3

In [20]: b
Out[20]:
     B  ID
0  200   3  # duplicates for ID: 3
1  300   4
2  400   3  # duplicates for ID: 3

Inner join:

In [21]: a.merge(b, on=['ID'])
Out[21]:
    A  ID    B
0  13   3  200  # A: 13, B: 200
1  13   3  400  # A: 13, B: 400
2  14   3  200  # A: 14, B: 200
3  14   3  400  # A: 14, B: 400

Outer joins:

In [22]: a.merge(b, on=['ID'], how='left')
Out[22]:
    A  ID      B
0  11   1    NaN
1  12   2    NaN
2  13   3  200.0
3  13   3  400.0
4  14   3  200.0
5  14   3  400.0

In [23]: a.merge(b, on=['ID'], how='right')
Out[23]:
      A  ID    B
0  13.0   3  200
1  14.0   3  200
2  13.0   3  400
3  14.0   3  400
4   NaN   4  300

In [24]: a.merge(b, on=['ID'], how='outer')
Out[24]:
      A  ID      B
0  11.0   1    NaN
1  12.0   2    NaN
2  13.0   3  200.0
3  13.0   3  400.0
4  14.0   3  200.0
5  14.0   3  400.0
6   NaN   4  300.0

UPDATE:

как выполнить преобразоване типов, например: str --> int?

я знаю два способа "векторизированного" преобразования str в int:

df_3['Person Responsible'] = pd.to_numeric(df_3['Person Responsible'], errors='coerce')

и

df_3['Person Responsible'] = df_3['Person Responsible'].astype(int, raise_on_error=False)

в первом случае те значения, которые не могут быть преобразованы в числа (например строка 'AAA') будут заменены на NaN и dtype у всего столбца будет float64, во втором случае будут преобразованы только те значения, которые возможно преобразовать и dtype у всего столбца будет либо int если все значения были успешно преобразованы, либо останется object

Преобразовать int --> str проще:

ft['Person Responsible'] = ft['Person Responsible'].astype(str)
13
  • MaxU, спасибо, но думаю дело не в этом. Там есть данные, которые по ключу совпадают. По моей задумке все данные которые не совпали по ключу Person Responsible будут отфильтрованы по NaN и я получу чистый фрейм с полностью заполненными сериями. Скажите, может быть дело в том, что перед этим я фрейм ft также создал из двух фпеймов методом merge? 31 янв 2017 в 13:58
  • Честно говоря пока не понимаю, что добавить к вышеизложенному, но пока не решил эту проблему. Отложу, до наступления озарения. Спасибо MaxU. 31 янв 2017 в 17:04
  • @DenisNovik, я бы посоветовал вам запостить в вопрос небольшие (по 3-5 строк), но воспроизводимые данные (в текстовом виде, чтобы их можно было скопировать и использовать в коде) - например несколько совпадающих и несовпадающих Person Responsible и показать чего вы хотите добиться. Вообще merge() в Pandas достаточно прост (не считая случаев с дупликатами) - он работает точно также как в реляционных СУБД 31 янв 2017 в 17:33
  • MaxU, а подскажите, пожалуйста, может быть причина в dtype? Я смотрю в одном фрейме у меня Person Responsible имеет тип int64, в другом non-null object. 1 фев 2017 в 11:37
  • 1
    еще раз большое вам человеческое спасибо за помощь! Проблему решил преобразовав Person Responsible из int -->str. Все прекрасно слилось. Теперь несусь на встречу следующим стакам) 2 фев 2017 в 13:25

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.