У меня есть 2 df:
d1 = pd.DataFrame({
'DATE_AND_TIME':['2018-12-05 08:31:23.479', '2018-12-05 08:31:25.654',
'2018-12-05 08:31:27.013', '2018-12-05 08:31:30.004',
'2018-12-05 08:31:32.479', '2018-12-05 08:31:33.079',
'2018-12-05 08:31:34.504', '2018-12-05 08:31:37.729',
'2018-12-05 08:31:38.854', '2018-12-05 08:31:40.654'],
'DELAY':[1, 2, 2, 3, 2, 2, 3, 2, 2, 2],
'CUR':['EUR', 'EUR', 'EUR', 'USD', 'USD', 'EUR', 'EUR', 'USD', 'USD', 'EUR']
})
d1['DATE_AND_TIME'] = d1['DATE_AND_TIME'].astype('datetime64[ns]')
d2 = pd.DataFrame({
'CUR':['USD', 'USD', 'USD', 'USD', 'EUR', 'EUR', 'EUR', 'EUR'],
'DATE':['2018-12-04','2018-12-06','2018-12-09','2018-12-11',
'2018-12-03','2018-12-07','2018-12-09','2018-12-11']
})
d2['DATE'] = d2['DATE'].astype('datetime64[ns]')
мне необходимо определить дату со смещением в d1, исходная дата в колонке DATE_AND_TIME, исходное смещение в DELAY. Я нахожу исходную дату со смещением:
d1['PRE_ISD'] = d1['DATE_AND_TIME'] + pd.to_timedelta(d1.DELAY, unit='D')
дальше если для данной CUR есть DATE, попадающая в интервал между DATE_AND_TIME и PRE_ISD, то PRE_ISD надо добавить еще 1 день. И добавлять пока между DATE_AND_TIME и PRE_ISD не останется ровно DELAY дней не имеющихся в d2 для данной CUR.
То что я ожидаю увидеть на выходе:
CUR DATE_AND_TIME DELAY ISD
0 EUR 2018-12-05 08:31:23.479 1 2018-12-06
1 EUR 2018-12-05 08:31:25.654 2 2018-12-08
2 EUR 2018-12-05 08:31:27.013 2 2018-12-08
3 USD 2018-12-05 08:31:30.004 3 2018-12-10
4 USD 2018-12-05 08:31:32.479 2 2018-12-08
5 EUR 2018-12-05 08:31:33.079 2 2018-12-08
6 EUR 2018-12-05 08:31:34.504 3 2018-12-10
7 USD 2018-12-05 08:31:37.729 2 2018-12-08
8 USD 2018-12-05 08:31:38.854 2 2018-12-08
9 EUR 2018-12-05 08:31:40.654 2 2018-12-08
заранее спасибо
ps.
лучшее из того, что у меня получилось:
d1['PRE_ISD'] = d1['DATE_AND_TIME'] + pd.to_timedelta(d1.DELAY, unit='D')
def calc_isd(x,isd):
c_isd = isd[(isd.CUR == x.CUR) & (isd.DATE > x.DATE_AND_TIME )].sort_values(by=['DATE'])
for c in c_isd.itertuples():
if c.DATE <= x.PRE_ISD:
x.PRE_ISD = x.PRE_ISD + pd.to_timedelta(1, unit='D')
else:
break
return x
d1['ISD'] = d1.apply(lambda x: calc_isd(x,d2), axis=1)['PRE_ISD'].dt.strftime('%Y-%m-%d')
del d1['PRE_ISD']
правда всего на 63к строк работает целых 3 минуты, если кто-то подскажет как сие оптимизировать буду премного благодарен.
"И добавлять пока между DATE_AND_TIME и PRE_ISD не останется ровно DELAY дней не имеющихся в d2 для данной CUR."
? Может быть на примере одной-двух строк... В текущей формулировке - это не очень понятно... Почему во второй строке2018-12-08
, а не2018-12-07
?2018-12-10
в строке с индексом3
? Ведь2018-12-05 + 3 days = 2018-12-08
и запись с такой датой дляUSD
отсутствует вd2
d2
2018-12-06
, а не2018-12-09
? Похоже вам придется писать решение с циклом... Не вижу как здесь можно использовать векторизированный подход