2

У меня есть 2 df:

d1 = pd.DataFrame({
   'DATE_AND_TIME':['2018-12-05 08:31:23.479', '2018-12-05 08:31:25.654', 
                    '2018-12-05 08:31:27.013', '2018-12-05 08:31:30.004', 
                    '2018-12-05 08:31:32.479', '2018-12-05 08:31:33.079', 
                    '2018-12-05 08:31:34.504', '2018-12-05 08:31:37.729', 
                    '2018-12-05 08:31:38.854', '2018-12-05 08:31:40.654'],
   'DELAY':[1, 2, 2, 3, 2, 2, 3, 2, 2, 2],
   'CUR':['EUR', 'EUR', 'EUR', 'USD', 'USD', 'EUR', 'EUR', 'USD', 'USD', 'EUR']
})
d1['DATE_AND_TIME'] = d1['DATE_AND_TIME'].astype('datetime64[ns]')
d2 = pd.DataFrame({
   'CUR':['USD', 'USD', 'USD', 'USD', 'EUR', 'EUR', 'EUR', 'EUR'], 
   'DATE':['2018-12-04','2018-12-06','2018-12-09','2018-12-11',
           '2018-12-03','2018-12-07','2018-12-09','2018-12-11']
})
d2['DATE'] = d2['DATE'].astype('datetime64[ns]')

мне необходимо определить дату со смещением в d1, исходная дата в колонке DATE_AND_TIME, исходное смещение в DELAY. Я нахожу исходную дату со смещением:

d1['PRE_ISD'] = d1['DATE_AND_TIME'] + pd.to_timedelta(d1.DELAY, unit='D')

дальше если для данной CUR есть DATE, попадающая в интервал между DATE_AND_TIME и PRE_ISD, то PRE_ISD надо добавить еще 1 день. И добавлять пока между DATE_AND_TIME и PRE_ISD не останется ровно DELAY дней не имеющихся в d2 для данной CUR.

То что я ожидаю увидеть на выходе:

  CUR            DATE_AND_TIME  DELAY         ISD
0  EUR  2018-12-05 08:31:23.479      1  2018-12-06
1  EUR  2018-12-05 08:31:25.654      2  2018-12-08
2  EUR  2018-12-05 08:31:27.013      2  2018-12-08
3  USD  2018-12-05 08:31:30.004      3  2018-12-10
4  USD  2018-12-05 08:31:32.479      2  2018-12-08
5  EUR  2018-12-05 08:31:33.079      2  2018-12-08
6  EUR  2018-12-05 08:31:34.504      3  2018-12-10
7  USD  2018-12-05 08:31:37.729      2  2018-12-08
8  USD  2018-12-05 08:31:38.854      2  2018-12-08
9  EUR  2018-12-05 08:31:40.654      2  2018-12-08

заранее спасибо

ps.

лучшее из того, что у меня получилось:

d1['PRE_ISD'] = d1['DATE_AND_TIME'] + pd.to_timedelta(d1.DELAY, unit='D')

def calc_isd(x,isd):    
    c_isd = isd[(isd.CUR == x.CUR) & (isd.DATE > x.DATE_AND_TIME )].sort_values(by=['DATE'])
    for c in c_isd.itertuples():
        if c.DATE <= x.PRE_ISD:
            x.PRE_ISD = x.PRE_ISD + pd.to_timedelta(1, unit='D')
        else:
            break
    return x
d1['ISD'] = d1.apply(lambda x: calc_isd(x,d2), axis=1)['PRE_ISD'].dt.strftime('%Y-%m-%d')
del d1['PRE_ISD']

правда всего на 63к строк работает целых 3 минуты, если кто-то подскажет как сие оптимизировать буду премного благодарен.

6
  • Можете пояснить эту часть: "И добавлять пока между DATE_AND_TIME и PRE_ISD не останется ровно DELAY дней не имеющихся в d2 для данной CUR."? Может быть на примере одной-двух строк... В текущей формулировке - это не очень понятно... Почему во второй строке 2018-12-08, а не 2018-12-07? 10 дек 2018 в 11:53
  • на примере 2 строки с 2018-12-05 первоначальное смещение (+2) 2018-12-07, но если мы посмотрим на d2 то для EUR есть дата 2018-12-07, которая добавит 1 день к смещению, конечной даты не должно быть в d2 10 дек 2018 в 12:19
  • все ещё не понимаю алгоритм... А почему 2018-12-10 в строке с индексом 3? Ведь 2018-12-05 + 3 days = 2018-12-08 и запись с такой датой для USD отсутствует в d2 10 дек 2018 в 12:33
  • на 3 строке с 2018-12-05 первоначальное смещение (+3) 2018-12-08, для USD в d2 есть дата 2018-12-06, которая попадает в между 2018-12-05 и 2018-12-08 и вызывает смещение до 2018-12-09. Но 2018-12-09 не может быть конечной датой, тк для USD она есть в d2, а значит нужно сделать еще 1 смещение на день. 2018-12-10 нет в d2 для USD, значит оставляем ее. 10 дек 2018 в 12:45
  • а почему в первой итерации вы выбираете из d2 2018-12-06, а не 2018-12-09? Похоже вам придется писать решение с циклом... Не вижу как здесь можно использовать векторизированный подход 10 дек 2018 в 12:50

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Посмотрите другие вопросы с метками или задайте свой вопрос.