2

Как в Pandas из датафрейма получить только строки, которые не входят в другой датафрейм?

Причём у меня ещё и набор колонок для них немного отличается, нужно чтобы отбор вёлся только по совпадающим колонкам.

Сейчас делаю так:

  1. Делаю merge с опцией how='left'.
  2. Поскольку во втором дф есть колонки, которых нет в первом, после мерджа получаю в результирующем дф эти колонки с пустым значением в нужных строках.
  3. Делаю выборку по пустому значению в одной из этих колонок.

Но это выглядит каким-то велосипедом. Есть ли в пандас готовый метод для выборки только тех строк, которые отсутствуют во втором дф?

2 ответа 2

3

Исходные DataFrame's:

In [3]: d1
Out[3]:
   a  b  c
0  1  2  3
1  4  5  6
2  7  8  9

In [4]: d2
Out[4]:
    a   c   e
0   1   3  11
1   7   9  12
2  13  13  13

Воспользуемся параметром indicator=True:

In [5]: d1.merge(d2, how='left', indicator=True)
Out[5]:
   a  b  c     e     _merge
0  1  2  3  11.0       both
1  4  5  6   NaN  left_only
2  7  8  9  12.0       both

отфильтруем те строки которые встречаются только в левом DF:

In [6]: d1.merge(d2, how='left', indicator=True).query("_merge == 'left_only'")
Out[6]:
   a  b  c   e     _merge
1  4  5  6 NaN  left_only

и удалим вспомогательный столбец:

In [7]: d1.merge(d2, how='left', indicator=True) \
          .query("_merge == 'left_only'") \
          .drop('_merge', axis=1)
Out[7]:
   a  b  c   e
1  4  5  6 NaN

т.е. все решение будет состоять из одной строки:

In [8]: d1.merge(d2, how='left', indicator=True) \
          .query("_merge == 'left_only'") \
          .drop('_merge', axis=1)[d1.columns]
Out[8]:
   a  b  c
1  4  5  6
2
  • Т.е. специального метода для этого всё-таки не существует? Жаль, я думал что такая задача должна довольно часто возникать и наверняка для неё реализовали отдельную ручку :(
    – Xander
    13 сен 2017 в 10:53
  • @Александр, если связь по одному столбцу то можно воспользоваться .isin(...), если по многим, то указанный мною в ответе способ является, по-моему, наиболее идиоматичным 13 сен 2017 в 10:57
-1

По моему, проще вывести отрицание(~)

df3=df1.loc[~df['a'].isin(df2['a'])]

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.