1

Подскажите возможно ли произвести группировку по столбцу LAST, отобрать значения в группу с разницей <=10.

Пробовал таким способом, но отрабатывает каждое значение в фрэйме:

df.groupby('<LAST>', as_index=False).apply(lambda x: df[df['<LAST>'].diff() <= 10])

Входные данные:

      <LAST>   <VOL>  <SIZE>
0   141770.0    2065    928
1   141780.0    2564    1180
2   141790.0    2217    1040
3   141800.0    2924    1124
4   142350.0    1973    926
5   142360.0    1968    914
6   142380.0    1711    945
7   142390.0    2038    936
8   142400.0    2245    974
9   142410.0    1826    989
10  142820.0    1899    1009
11  142830.0    2992    1167
12  142840.0    2539    1248
13  142850.0    2772    1169
14  142860.0    1930    933

Необходимо получить что-то вроде, что бы можно было производить операции по каждой группе отдельно:

      <LAST>   <VOL>  <SIZE>
1   141770.0    2065    928
    141780.0    2564    1180
    141790.0    2217    1040
    141800.0    2924    1124
2   142350.0    1973    926
    142360.0    1968    914
3   142380.0    1711    945
    142390.0    2038    936
    142400.0    2245    974
    142410.0    1826    989
4   142820.0    1899    1009
    142830.0    2992    1167
    142840.0    2539    1248
    142850.0    2772    1169
    142860.0    1930    933

2 ответа 2

2

В таких случаях обычно используют трюк с методом .cumsum(), который применяют к последовательности булевых значений, как показано в ответе @splash58.

Как это работает пошагово:

In [75]: df["<LAST>"].diff()
Out[75]:
0       NaN
1      10.0
2      10.0
3      10.0
4     550.0
5      10.0
6      20.0
7      10.0
8      10.0
9      10.0
10    410.0
11     10.0
12     10.0
13     10.0
14     10.0
Name: <LAST>, dtype: float64

теперь применяем логическое отрицание - это нужно потому что значение False представлено в Python нулем и кумулятивная сумма для группы не будет изменяться. Т.е. нам надо получить такую последовательность True / False, для которой True будет стоять только в начале каждой группы.

In [76]: df["<LAST>"].diff().gt(10)
Out[76]:
0     False   # <--- начало группы 0 (сумма всех элементов 0-ой группы будет равна 0)
1     False
2     False
3     False
4      True   # <--- начало группы 1
5     False
6      True   # <--- начало группы 2
7     False
8     False
9     False
10     True   # <--- начало группы 3
11    False
12    False
13    False
14    False
Name: <LAST>, dtype: bool

осталось только применить метод кумулятивной суммы:

In [77]: df["<LAST>"].diff().gt(10).cumsum()
Out[77]:
0     0
1     0    # False + False = 0
2     0    # False + False + False = 0
3     0    # False + False + False + False = 0
4     1    # (False + False + False + False) + True = 1
5     1    # (False + False + False + False) + True + False= 1
6     2    # (False + False + False + False) + (True + False) + True = 2
7     2    # ...
8     2
9     2
10    3
11    3
12    3
13    3
14    3
Name: <LAST>, dtype: int32

В последнем шаге мы фактически получили номера нужных нам групп.

Теперь по этому номеру группы можно сделать группировку:

In [78]: df.groupby(df["<LAST>"].diff().gt(10).cumsum()).groups
Out[78]:
{0: Int64Index([0, 1, 2, 3], dtype='int64'),
 1: Int64Index([4, 5], dtype='int64'),
 2: Int64Index([6, 7, 8, 9], dtype='int64'),
 3: Int64Index([10, 11, 12, 13, 14], dtype='int64')}

атрибут .groups возвращает словарь с индексами элементов групп.

2
  • 1
    все время забываю про diff. Почему он у меня в голове не держится :)
    – splash58
    5 ноя 2019 в 8:25
  • 1
    Спасибо! Это большие знания!
    – Tortuga
    5 ноя 2019 в 11:34
2

На самом деле, то что у вас показано в вопросе - это группировка по точкам, когда разница с предыдущим больше 10. Это можно сделать используя метод cumsum(). Я вам подставил в apply код, который просто показывает группы, но вы можете использовать свою функцию обработки или встроенные агрегатные методы

df.groupby((df['<LAST>'].sub(df.shift()['<LAST>'])).gt(10).cumsum()) \
  .apply(lambda x: x.assign())

             <LAST>  <VOL>  <SIZE>
<LAST>                            
0      0   141770.0   2065     928
       1   141780.0   2564    1180
       2   141790.0   2217    1040
       3   141800.0   2924    1124
1      4   142350.0   1973     926
       5   142360.0   1968     914
2      6   142380.0   1711     945
       7   142390.0   2038     936
       8   142400.0   2245     974
       9   142410.0   1826     989
3      10  142820.0   1899    1009
       11  142830.0   2992    1167
       12  142840.0   2539    1248
       13  142850.0   2772    1169
       14  142860.0   1930     933

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.