1

Есть oбъект groupby, сформированный из DataFrame. Для него нужно посчитать дисперсию по категориям, в которых количество наблюдений >= 10.

Исходные данные:

megretrans_new = megretrans_otr.groupby(['new'])['amount'] #так был создан объект

Пробую так, но это неправильный код:

megretrans_new.agg(['count' > 10, np.var])
1

1 ответ 1

4

Пример:

создаем фрейм для демонстрации:

df = pd.DataFrame({
    "new": np.random.choice(list("abcde"), 100, p=[.3,.25,.2,.2,.05]), 
    "amount": np.random.rand(100)*1000})

In [48]: df
Out[48]:
   new      amount
0    a  469.617984
1    b   87.851712
2    a  795.669208
3    a  954.550734
4    b   34.985337
..  ..         ...
95   a  361.697281
96   d  245.245859
97   d  963.222224
98   b  545.422079
99   a  630.812729

[100 rows x 2 columns]

In [51]: df["new"].value_counts()
Out[51]:
a    30
c    25
b    22
d    19
e     4
Name: new, dtype: int64

решение 1:

res = df.groupby("new").filter(lambda x: len(x) >= 10).groupby("new")["amount"].var()

решение 2:

res = df.groupby("new")["amount"].agg(["var", "count"]).query("count >= 10")["var"]

результат:

In [53]: res
Out[53]:
new
a     75210.670184
b     84411.914567
c     72483.512171
d    101631.615241
Name: amount, dtype: float64

UPD: стоит упомянуть что в Pandas дисперсия по умолчанию расчитывается со степенью свободы 1 (параметр: ddof=1), тогда как в np.var(..., ddof=0). Таким образом чтобы получить в Pandas такие же значения как в np.var(), следует явно указать ddof=0:

In [72]: df.loc[df["new"]=="a", "amount"].var()
Out[72]: 75210.67018445666

In [73]: np.var(df.loc[df["new"]=="a", "amount"])
Out[73]: 72703.64784497478

In [74]: df.loc[df["new"]=="a", "amount"].var(ddof=0)
Out[74]: 72703.64784497478

и наоборот, чтобы получить в np.var() такое же значение как в Pandas:

In [75]: np.var(df.loc[df["new"]=="a", "amount"], ddof=1)
Out[75]: 75210.67018445666

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.