0

Как можно улучшить нижеприведенный код с точки зрения производительности и чтобы при этом чтобы изменения отвечали лучшим рекомендациям по написанию кода?

Решаемая задача - при последовательном сканировании таблицы по строкам, исключить все ниже распологающиеся строки, по отношению к сравниваемой строке, для которых выполняется условие - кол-во одинаковых элементов в расмативаемой и сравниваемой строке не превышаеет значения указанного в переменной similar. Положение элементов в строках при сравнении не имеет значение.

Исходный рабочий код.

import pandas as pd
df = pd.DataFrame([[0,6,4,2], [1,2,3,4], [1,2,3,5,], [1,2,4,5], [2,7,8,9], [1,2,5,7], [1,3,7,9], [3,6,9,12], [5,10,15,20]])
print(df)

ndf = pd.DataFrame()
similar = 3

def del_similar_records(r, similar):
    global ndf
    if(ndf.apply(lambda y: len(set(y) & set(r)) < similar).all()):
        ndf = pd.concat([ndf,r], axis=1)
    return 

df.apply(lambda x: del_similar_records(x, similar), axis = 1)

print(ndf.T)

Исходные данные

   0   1   2   3
0  0   6   4   2
1  1   2   3   4
2  1   2   3   5
3  1   2   4   5
4  2   7   8   9
5  1   2   5   7
6  1   3   7   9
7  3   6   9  12
8  5  10  15  20

Ожидаемые результат

   0   1   2   3
0  0   6   4   2
1  1   2   3   4
4  2   7   8   9
5  1   2   5   7
6  1   3   7   9
7  3   6   9  12
8  5  10  15  20 

2 ответа 2

1

Можно отказаться от работы с датафреймом в цикле. Учитывая, что получаемый датафрейм — это подмножество исходного, то выгоднее собирать результаты логического выражения (lambda y: len(set(y) & set(r)) < similar).all(), например, в переменную bool_list, а в конце просто просто вызвать df[bool_list]. В то же время использовать df[bool_list] вместо ndf в цикле тоже медленно (такой способ получается даже медленнее исходного). Поэтому будем собирать два списка: булев список bool_list и список множеств r_set_list вместо датафрейма. Тогда код выглядит вот так:

import pandas as pd
df = pd.DataFrame([[0,6,4,2], [1,2,3,4], [1,2,3,5,], [1,2,4,5], [2,7,8,9], [1,2,5,7], [1,3,7,9], [3,6,9,12], [5,10,15,20]])

similar = 3
r_set_list = list()
bool_list = list()

def del_similar_records(r, similar):
    r_set = set(r)
    if all(list(map(lambda x: len(x & r_set) < similar, r_set_list))):
        bool_list.append(True)
        r_set_list.append(r_set)
    else:
        bool_list.append(False)

df.apply(lambda x: del_similar_records(x, similar), axis = 1)

print(df[bool_list])

На мое компьютере этот код выполняется примерно в 7 раз быстрее.

6
  • Спасибо за ответ! Вопрос, а можно как-то обойтись без внешних переменных r_set_list = list(), bool_list = list()? Типа написать универсальную самодостаточную функцию? Как вариант решения вижу использование классов, чтобы скрыть переменные и не забыть про них при практическом применении функции. 3 июл 2019 в 15:54
  • 1
    Не могу придумать, как это сделать, если оставить df.apply(). Но можно сделать функцию, которая принимает на вход целый датафрейм и перебирает его сама. Тогда переменные можно запрятать в функцию. Код выглядеть будет примерно вот так: pastebin.com/BN5u8Xfr . Так работает ещё быстрее, примерно в 10 раз быстрее исходного варианта.
    – amoskaliov
    4 июл 2019 в 5:51
  • @amoskailov Два вопроса: Почему тут ответ не опубликовал ? Я хочу его оценить. И чем руководствоваться при выборе itertuples или apply с точки зрения производительности? Мне казалось что for по определению медленее чем apply 5 июл 2019 в 7:51
  • @amoskailov - обнаружил небольшую ошибку в твоем коде. Вместо df.itertuples() нужно использовать df.values. В этом случае скрипт возвращает правильные результаты. Производительность намного лучше, но не хватает. 21 июл 2019 в 8:35
  • Как можно еще улучшить производительность скрипта? 21 июл 2019 в 17:26
0

Немного улучшил код функции предложенного @amoskaliov.
Результат для сочетаний 6 из 16 с кол-во допустимых одинаковых элементов = 5

новый код
16.4 s ± 1.2 s per loop (mean ± std. dev. of 7 runs, 1 loop each)
старый код
19.2 s ± 1.12 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

Исходный код новой и старой реализации

import pandas as pd
import numpy as np
import itertools as itr

#df = pd.DataFrame([[0,6,4,2], [1,2,3,4], [1,2,3,5,], [1,2,4,5], [2,7,8,9], [1,2,5,7], [1,3,7,9], [3,6,9,12], [5,10,15,20]]*1)

i=itr.combinations(range(1,17),6)

l=list(i)

df = pd.DataFrame(l)



def del_similar_records_new(df, similar):
    r_set_list = list()
    bool_list = list()

    for r in df.values:
        r_set = set(r)

        f = True 
        for x in r_set_list:
            if (f == True and len(x & r_set)) > similar:
                f = False

        if (f):
            bool_list.append(True)
            r_set_list.append(r_set)
        else:
            bool_list.append(False)

    return ~np.array(bool_list)

def del_similar_records_old(df, similar):
    r_set_list = list()
    bool_list = list()

    for r in df.values:
        r_set = set(r)

        if all(list(map(lambda x: len(x & r_set) <= similar, r_set_list))):
            bool_list.append(True)
            r_set_list.append(r_set)
        else:
            bool_list.append(False)

    return ~np.array(bool_list)


similar = 5 
%timeit b_list_new = del_similar_records_new(df, similar)

print(df[~b_list_new])

%timeit b_list_old = del_similar_records_old(df, similar)

print(df[~b_list_old])

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.