2

У меня есть 2 df:

d1 = pd.DataFrame({
   'ID':['ABC123', 'ABC124', 'ABC125', 'ABC126', 'ABC127', 'ABC128', 'ABC129', 'ABC130', 'ABC131', 'ABC132'],
   'PRICE':[2365.34, 45.37, 225.25, 574.3, 23.34, 7.98, 2353.34, 79.42, 6554.09, 12.45],
   'CUR':['GBp', 'EUR', 'GBP', 'USD', 'SEK', 'CHF', 'GBp', 'CHF', 'GBp', 'CHF']
})

d2 = pd.DataFrame({
   'RECEIVED_CODE':['GBp', 'AUD'], 
   'CONVERTED_CODE':['GBP','USD'], 
   'CONVERSION_RATE':[100, 1]
})

Мне необходимо заменить значения по следующей логике:

если значение CUR 1 df совпадает со значением RECEIVED_CODE 2 df, то необходимо в данной строке заменить значение самого CUR на CONVERTED_CODE, а PRICE разделить на CONVERSION_RATE.

Код:

for row in d2.itertuples():
    tmp = d1[d1.CUR == row.RECEIVED_CODE]
    tmp['PRICE'] = tmp['PRICE'] / row.CONVERSION_RATE
    tmp['CUR'] = row.CONVERTED_CODE
    d1.update(tmp)

делает то что нужно, но при объеме d1 10кк строк и d2 - 10 строк, данный код отрабатывает несколько минут, что очень долго.

код

d1['CUR'] = d1.CUR.map(d2.set_index('RECEIVED_CODE').CONVERTED_CODE).fillna(d1.CUR)

может изменить CUR на CONVERTED_CODE, но приспособить данный метод для изменения PRICE у меня не получилось.

Как это можно оптимизировать?

Заранее спасибо.

1
  • можете привести в вопросе пример DF, который вы хотите получить на выходе? 6 дек 2018 в 13:39

1 ответ 1

2

Я бы делал это так:

сначала создаём вспомогательный DF с валютами встречающимися в обоих DF:

In [95]: r = (d1.rename(columns={'CUR':'RECEIVED_CODE'})
                .reset_index()
                .merge(d2.rename(columns={'CONVERTED_CODE':'CUR'}), on='RECEIVED_CODE'))

In [96]: r
Out[96]:
   index      ID    PRICE RECEIVED_CODE  CUR  CONVERSION_RATE
0      0  ABC123  2365.34           GBp  GBP              100
1      6  ABC129  2353.34           GBp  GBP              100
2      8  ABC131  6554.09           GBp  GBP              100

DataFrame.eval() позволяет делать арифметику "на лету":

In [99]: r.set_index('index').eval("PRICE = PRICE / CONVERSION_RATE")[['CUR','PRICE']]
Out[99]:
       CUR    PRICE
index
0      GBP  23.6534
6      GBP  23.5334
8      GBP  65.5409

воспользуемся этим:

In [100]: d1.loc[r['index'], ['CUR','PRICE']] = \
            r.set_index('index').eval("PRICE = PRICE / CONVERSION_RATE")[['CUR','PRICE']]

результат:

In [101]: d1
Out[101]:
       ID     PRICE  CUR
0  ABC123   23.6534  GBP
1  ABC124   45.3700  EUR
2  ABC125  225.2500  GBP
3  ABC126  574.3000  USD
4  ABC127   23.3400  SEK
5  ABC128    7.9800  CHF
6  ABC129   23.5334  GBP
7  ABC130   79.4200  CHF
8  ABC131   65.5409  GBP
9  ABC132   12.4500  CHF

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.