1

надеюсь найдутся знатоки которые смогут помочь)

Имеется такая таблица

Код:

X2          X3  X4  Y   Y1
01.02.2019  1   1   1   
02.02.2019  2   2   0   
02.02.2019  2   3   0   
02.02.2019  2   1   1   
03.02.2019  1   2   1   
04.02.2019  2   3   0   
05.02.2019  1   1   1   
06.02.2019  2   2   0   
07.02.2019  1   3   1   
08.02.2019  2   1   1   
09.02.2019  1   2   0   
10.02.2019  2   3   1   
11.02.2019  1   1   0   
12.02.2019  2   2   1   
13.02.2019  1   3   0   
14.02.2019  2   1   1   
15.02.2019  1   2   1   
16.02.2019  2   3   0   
17.02.2019  1   1   1   
18.02.2019  2   2   0

И в столбце Y1 необходимо посчитать скользящее среднее столбца Y за последние 5 дней, но только с фильтрацией по условию Х3 и Х4. Фильтр равен текущему значению столбцов для текущей строки. Например для строки 04.02.2019 2 3 0 среднее будет равно 0, потому что для нее условию соответствует только строка 02.02.2019 2 3 0

Как это сделать не понимаю, знаю что это будет нечто вроде

filtered_X4 = df['X4'].where(condition_1 & condition_2 & condition_3)

Но как задать сами условия condition_1,2,3 не понимаю.

Видел много примеров когда известен фильтр, например

condition_1 = df['X2'].isin([2, 3, 5])

но это не то что мне нужно. В принципе нужно что-то очень похожее на функцию СРЗНАЧЕСЛИМН в экселе)

Как посчитать среднее знаю

df['Y1'] = filtered_X4.shift(1).rolling(window = 999999, min_periods = 1).mean()

, но не могу настроить фильтрацию.

1
  • Можете привести в вопросе пример того, что должно получиться на выходе? Commented 18 мая 2019 в 10:01

1 ответ 1

2

Для приведенного в вопросе DataFrame, значения Y1 будут равны значениям в столбце Y, поэтому для решения я буду использовать более показательный и к тому же не такой большой DF:

In [122]: df
Out[122]:
          X2  X3  X4  Y
0 2019-02-01   1   1  9
1 2019-02-02   1   2  4
2 2019-02-02   1   1  3
3 2019-02-02   1   3  4
4 2019-02-03   1   2  3
5 2019-02-04   1   3  6
6 2019-02-05   1   4  1
7 2019-02-06   1   5  7
8 2019-02-07   1   6  6
9 2019-02-08   1   1  5

решение:

def roll(df, win="5D", dt_col="X2", filter_cols=["X3","X4"],
         agg_func="mean", apply_col="Y", fill_value=None,
         verbose=0):
    data = []
    index = []
    for r in df.iterrows():
        mask = (df.index <= r[0]) & (df[dt_col] >= r[1][dt_col] - pd.to_timedelta(win))
        qry = " and ".join([f"{col} == {r[1][col]}" for col in filter_cols])
        index.append(r[0])
        data.append(df.loc[mask].query(qry)[apply_col].agg(agg_func))
        if verbose > 0:
            print(f"index: {r[0]}, avg: {data[-1]}", df.loc[mask].query(qry))
    res = pd.Series(data, index=index)
    if fill_value is not None:
        res = res.fillna(fill_value)
    return res

результат:

In [128]: df["Y1"] = df.pipe(func=roll, win="5D", dt_col="X2", filter_cols=["X3","X4"], 
                             agg_func="mean", apply_col="Y")

In [129]: df
Out[129]:
          X2  X3  X4  Y   Y1
0 2019-02-01   1   1  9  9.0
1 2019-02-02   1   2  6  6.0
2 2019-02-02   1   1  6  7.5   # <---
3 2019-02-02   1   3  7  7.0
4 2019-02-03   1   2  0  3.0   # <---
5 2019-02-04   1   3  7  7.0
6 2019-02-05   1   4  0  0.0
7 2019-02-06   1   5  6  6.0
8 2019-02-07   1   6  2  2.0
9 2019-02-08   1   1  7  7.0

PS данное решение было выбрано потому что все существующие в Pandas API методы с использованием скользящего окна позволяют обратиться только к единственному столбцу и соответственно отфильтровать по значениям столбцов X3, X4 - не получится.

PPS существуют более быстрое, векторизированое решение для варианта, когда окно задается фиксированным числом строк

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.