2

Нужно сохранить те строки, которые отстоят одна от другой на некоторое расстояние по одному и тому же полю. Здесь пример по полю 'quantity':

import pandas as pd    
df_work = pd.DataFrame({'key':["a01","a01","b03","a01","a01","a01"], 
                            'category':["good","good","broken","good","broken","good"], 
                            'quantity':[33,32,11,13,2,5],
                        })
df_result = pd.DataFrame(columns = df_work.columns, data = None)
for i in df_work.index:
        q = df_work['quantity'][i]
        for k in df_work.index:
            if i!=k:
                if abs(q-df_work['quantity'][k])<3:
                    df_result = df_result.append(df_work[i:i+1], ignore_index=True)                    
df_result

выдает желаемое:

    key category quantity
0   a01 good     33
1   a01 good     32
2   b03 broken   11 
3   a01 good     13

то есть я хочу получить DataFrame, в котором есть только те строки df_work, значение поля quantity в которых отстоят от значений в том же поле в других строках "недалеко". В данном случае по модулю на 2 и менее отстоят строки с 33,32 и 11,13.

Есть ли более изящный (Python-стиль) способ отфильтровать DataFrame желаемым образом за пару строк?

1 ответ 1

2

Для начала перетасуем DF - исключительно для наглядности (т.к. в оригинальном DF заданным условиям удовлетворяют первые четыре строки идущие подряд).

In [56]: d = df_work.sample(frac=1)

In [57]: d
Out[57]:
   key category  quantity
2  b03   broken        11
0  a01     good        33
4  a01   broken         2
3  a01     good        13
5  a01     good         5
1  a01     good        32

Решение:

создаем матрицу абсолютных разниц для столбца quantity, воспользовавшись np.subtract.outer():

In [70]: r = np.abs(np.subtract.outer(d['quantity'], d['quantity'].unique(), dtype='int16'))

In [71]: r
Out[71]:
array([[ 0, 22,  9,  2,  6, 21],
       [22,  0, 31, 20, 28,  1],
       [ 9, 31,  0, 11,  3, 30],
       [ 2, 20, 11,  0,  8, 19],
       [ 6, 28,  3,  8,  0, 27],
       [21,  1, 30, 19, 27,  0]], dtype=int16)

получаем индексы строк, удовлетворяющих условиям:

In [72]: idx = ((r > 0) & (r < 3)).nonzero()[0]

In [73]: idx
Out[73]: array([0, 1, 3, 5], dtype=int64)

выбираем строки по индексам:

In [74]: res = d.iloc[idx]

In [75]: res
Out[75]:
   key category  quantity
2  b03   broken        11
0  a01     good        33
3  a01     good        13
1  a01     good        32
6
  • вау. (c) "Пятый элемент". И все же - плата за красоту - массив на всю длину фрейма.... То есть похоже, что с точки зрения вычислительных затрат и затрат памяти лучше оставить как есть в формулировке вопроса? 16 мар 2019 в 13:03
  • @VasylKolomiets, с точки зрения вычислений, данное Numpy решение будет гораздо быстрее работать (особенно для больших массивов данных). Проблемы могут возникнуть с памятью, т.к. матрица r содержит len(d['quantity']) * len(d['quantity'].unique()) элементов 16 мар 2019 в 13:09
  • 1
    @VasylKolomiets, у вас задача имеет какое-либо практическое обоснование или это чисто академическая задача? 16 мар 2019 в 13:24
  • Это упрощенная формулировка практической задачи одного моего знакомого. Там что-то по близким (в некотором смысле) транзакциям. И не удержусь спросить - а что? ))) Мы изучаем Пандас на практических задачах сделанных в Экселе, стремясь от него (эксела) уйти в пользу Пандас... 16 мар 2019 в 14:02
  • @VasylKolomiets, просто без группировок эта задача показалась мне искусственно выдуманной ;) 16 мар 2019 в 14:09

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.