1

Подскажите, пожалуйста как при сравнение 2-х датафреймов в pandas вывести только произошедшие изменения по условиям.

df1:

Id   Name  Amount Contract_ID  Date
195   ART   200     23rt       2019-02-21
264   Pict  150     18f        2019-01-17
482   Tras  379     427df      2019-02-10
294   Fish  375     29fg       2019-02-11

df2

Id   Name  Amount  Contract_ID  Date
195    ART   250      23rt       2019-03-26
190    Tree  100      312ft      2019-03-15
482    Tras  379      427df      2019-03-20
264    Pict  50       18f        2019-04-01
294    Fish  450      29fg       2019-04-20
294    Fish  100      26394rt    2019-03-20

Нужно получить следующий результат - создать датафрейм где будут только те row, где произошло увеличение суммы, либо новые row:

df_update:
195    ART   250      23rt       2019-03-26
190    Tree  100      312ft      2019-03-15
294    Fish  450      29fg       2019-04-20
294    Fish  100      26394rt    2019-03-20

Попытался это сделать следующим кодом, но не получил требуемого результата:

df_update = df1.merge(df2, how='outer', indicator=True).query("_merge == 'right_only'")

1 ответ 1

2

Пошаговое решение:

делаем "FULL OUTER JOIN" по столбцам ['Id','Name','Contract_ID'] с индикацией. Столбцы второго DF, не участвующие в объединении, получат суфикс _new:

m = (d1.merge(d2, how='outer', on=['Id','Name','Contract_ID'], 
              suffixes=['', '_new'], indicator=True))

In [39]: m
Out[39]:
    Id  Name  Amount Contract_ID       Date  Amount_new   Date_new      _merge
0  195   ART   200.0        23rt 2019-02-21         250 2019-03-26        both
1  264  Pict   150.0         18f 2019-01-17          50 2019-04-01        both
2  482  Tras   379.0       427df 2019-02-10         379 2019-03-20        both
3  294  Fish   375.0        29fg 2019-02-11         450 2019-04-20        both
4  190  Tree     NaN       312ft        NaT         100 2019-03-15  right_only
5  294  Fish     NaN     26394rt        NaT         100 2019-03-20  right_only

заполним отсутствующие значения в столбцах ['Amount', 'Date'] из соответствующих строк в DF2 (этот шаг можно пропустить):

m[['Amount', 'Date']] = (m[['Amount', 'Date']]
                         .apply(lambda c: c.combine_first(m[f'{c.name}_new'])))

In [41]: m
Out[41]:
    Id  Name  Amount Contract_ID       Date  Amount_new   Date_new      _merge
0  195   ART   200.0        23rt 2019-02-21         250 2019-03-26        both
1  264  Pict   150.0         18f 2019-01-17          50 2019-04-01        both
2  482  Tras   379.0       427df 2019-02-10         379 2019-03-20        both
3  294  Fish   375.0        29fg 2019-02-11         450 2019-04-20        both
4  190  Tree   100.0       312ft 2019-03-15         100 2019-03-15  right_only
5  294  Fish   100.0     26394rt 2019-03-20         100 2019-03-20  right_only

выбираем только интересующие нас строки:

m.query("Amount_new > Amount or _merge=='right_only'")

In [42]: m.query("Amount_new > Amount or _merge=='right_only'")
Out[42]:
    Id  Name  Amount Contract_ID       Date  Amount_new   Date_new      _merge
0  195   ART   200.0        23rt 2019-02-21         250 2019-03-26        both
3  294  Fish   375.0        29fg 2019-02-11         450 2019-04-20        both
4  190  Tree   100.0       312ft 2019-03-15         100 2019-03-15  right_only
5  294  Fish   100.0     26394rt 2019-03-20         100 2019-03-20  right_only
1
  • 1
    Спасибо большое
    – Pavel
    15 мая 2019 в 12:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.