3

Есть DataFrame

myData ={'A':[1,3,-10,4,5,6,2],
     'B':[2,1,4,2,5,3,6]}
df = pd.DataFrame(myData)

введите сюда описание изображения

Необходимо сделать в новой колонке кумулятивное суммирование по колонке 'A' но с условием, что если результат положительный, то ставим 0, если результат <0, то начинаем кумулятивное суммирование по колонке 'A'. Для колонки 'B' нужно начинать кумулятивное суммирование, если в колонке 'A-' значение <0 Реализовал это обычными циклами, только начинаю осваивать pandas и хотелось бы использовать инструменты из этого пакета

Результат:

8
  • можете привести пример данных, в котором будут две точки начала суммирования? 30 ноя 2019 в 8:19
  • похоже без циклов все равно не обойтись, ведь следующая точка точка начала суммирования известна только после предыдущего прохода.
    – splash58
    30 ноя 2019 в 8:27
  • @strawdog он же там есть
    – splash58
    30 ноя 2019 в 8:48
  • Следующая точка начала суммирования будет на следующем отрицательном значении. myData ={'A':[1,3,-10,4,5,6,2, -7,5], 'B':[2,1,4,2,5,3,6,8,1]} Первая точка на -10, вторая на -7
    – Юрий
    30 ноя 2019 в 10:15
  • Циклы на больших размерах данных, более 500К строк долго обрабатываются.
    – Юрий
    30 ноя 2019 в 10:23

2 ответа 2

0

Ну вот, по мотивам этого кейса получается такой колхоз:

import pandas as pd
myData ={'A':[1,3,-10,4,5,6,2,-7,5],
     'B':[2,1,4,2,5,3,6,1,2]}
df = pd.DataFrame(myData)

#    A  B
#0   1  2
#1   3  1
#2 -10  4
#3   4  2
#4   5  5
#5   6  3
#6   2  6
#7  -7  1
#8   5  2

Затем:

df['A-']=df.groupby(df['A'].lt(0).astype(int).cumsum())['A'].cumsum()
df.loc[df['A-'] > 0, 'A-'] = 0
df['BA-']=df.groupby(df['A-'].lt(0).astype(int))['B'].cumsum()
df.loc[df['A-'] == 0, 'BA-'] = 0

Что даёт в результате:

    A  B  A-  BA-
0   1  2   0    0
1   3  1   0    0
2 -10  4 -10    4
3   4  2  -6    6
4   5  5  -1   11
5   6  3   0    0
6   2  6   0    0
7  -7  1  -7   12
8   5  2  -2   14

То есть, кумулятивная сумма происходит только с теми значениями, которые вам нужны, но она не ресетится, а продолжает аккумулироваться с каждой очередной серией.

UPDATE

Появилось справедливое замечание, что если кумулятивная сумма в первой колонке после точки начала суммирования до следующего отрицательного числа не набежит в "плюс", то приведенное выше решение не будет работать. Поэтому появилась такая адаптация (код особо не оптимизировал, он и так трудночитаем):

import pandas as pd
myData ={'A':[1,3,-10,4,5,6,2,-7,5],
     'B':[2,1,4,2,5,3,6,1,2]}

myData1 ={'A':[1,3,-20,4,5,6,2,-7,5],
     'B':[2,1,4,2,5,3,6,1,2]}

def myfunc(myData: dict):
    df = pd.DataFrame(myData)
    df['temp']=df.groupby(df['A'].lt(0).astype(int).cumsum())['A'].cumsum()
    df.loc[df['temp'] > 0, 'temp'] = 0
    df['A-']=df.groupby(df['temp'].lt(0).astype(int))['A'].cumsum()
    df.loc[df['A-'] > 0, 'A-'] = 0
    df.drop(['temp'], axis=1, inplace=True)
    df['BA-']=df.groupby(df['A-'].lt(0).astype(int))['B'].cumsum()
    df.loc[df['A-'] == 0, 'BA-'] = 0
    return df

print(myfunc(myData))

#     A  B  A-  BA-
# 0   1  2   0    0
# 1   3  1   0    0
# 2 -10  4 -10    4
# 3   4  2  -6    6
# 4   5  5  -1   11
# 5   6  3   0    0
# 6   2  6   0    0
# 7  -7  1  -8   12
# 8   5  2  -3   14

print(myfunc(myData1))

#     A  B  A-  BA-
# 0   1  2   0    0
# 1   3  1   0    0
# 2 -20  4 -20    4
# 3   4  2 -16    6
# 4   5  5 -11   11
# 5   6  3  -5   14
# 6   2  6  -3   20
# 7  -7  1 -10   21
# 8   5  2  -5   23 
5
  • боюсь, если между -10 и -7 сумма не набежит в плюс, схема не сработает, если я ее правильно понял
    – splash58
    30 ноя 2019 в 12:08
  • Спасибо большое! Колонка 'B' и 'BA-' расчитываются корректно. Это уже часть задачи решило! А вот ситуация, которую описал splash, когда между -10 и -7 сумма не набежит в плюс, схема действительно не работает. Вот на этом например myData ={'A':[1,3,-20,4,5,6,2, -7,5], 'B':[2,1,4,2,5,3,6, 8, 1]}. Просто увеличив первый минус в два раза.
    – Юрий
    30 ноя 2019 в 12:32
  • @splash58 не было времени основательно подумать, единственное, что пришло в голову - это промежуточная группировка.
    – strawdog
    2 дек 2019 в 14:50
  • надо, наверное, делать цикл - смотрим сумму, берем когда она становится неправильной, делаем с этого места слайс и повторяем процесс. И так до конца столбца А. Мне вот так видится
    – splash58
    2 дек 2019 в 16:35
  • @splash58, ну, как я понял, автор уже и так решил задачу с помощью циклов. хотелось найти как раз пандовское решение.
    – strawdog
    2 дек 2019 в 18:27
0

@strawdog огромное спасибо! Ваши ответы и ссылка вот этот кейс позволили найти верное решение. В первой части Вашего ответа корректно считалась кумулятивная сумма, когда в колонке условий есть смена знака, после Update корректно стало работать, когда нет смены знака.

Вот немного измененный код, который дает нужные значения:

import pandas as pd
myData ={'A':[1,3,-10,4,5,6,2,-7,5],
         'B':[2,1,4,2,5,3,6,1,2]}

myData1 ={'A':[1,3,-20,4,5,6,2,-7,5],
          'B':[2,1,4,2,5,3,6,1,2]}

def myfunc(myData: dict):
    df = pd.DataFrame(myData)
    df['temp']=df.groupby(df['A'].lt(0).astype(int).cumsum())['A'].cumsum()
    df.loc[df['temp'] > 0, 'temp'] = 0
    df['A-']=df.groupby(df['temp'].lt(0).astype(int).diff().ne(0).cumsum())['A'].cumsum()
    df.loc[df['A-'] > 0, 'A-'] = 0
    df.drop(['temp'], axis=1, inplace=True)
    df['BA-']=df.groupby(df['A-'].lt(0).astype(int).diff().ne(0).cumsum())['B'].cumsum()
    df.loc[df['A-'] == 0, 'BA-'] = 0

print(myfunc(myData))

#     A  B  A-  BA-
# 0   1  2   0    0
# 1   3  1   0    0
# 2 -10  4 -10    4
# 3   4  2  -6    6
# 4   5  5  -1   11
# 5   6  3   0    0
# 6   2  6   0    0
# 7  -7  1  -7    1
# 8   5  2  -2    3

print(myfunc(myData1))

#     A  B  A-  BA-
# 0   1  2   0    0
# 1   3  1   0    0
# 2 -20  4 -20    4
# 3   4  2 -16    6
# 4   5  5 -11   11
# 5   6  3  -5   14
# 6   2  6  -3   20
# 7  -7  1 -10   21
# 8   5  2  -5   23

Отказ от циклов и переход на использование функционала Pandas позволило очень существенно сократить время выполнения программы. Для 2,5 млн записей скорость увеличилась в 100 раз!!!

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.