Как можно улучшить нижеприведенный код с точки зрения производительности и чтобы при этом чтобы изменения отвечали лучшим рекомендациям по написанию кода?
Решаемая задача - при последовательном сканировании таблицы по строкам, исключить все ниже распологающиеся строки, по отношению к сравниваемой строке, для которых выполняется условие - кол-во одинаковых элементов в расмативаемой и сравниваемой строке не превышаеет значения указанного в переменной similar. Положение элементов в строках при сравнении не имеет значение.
Исходный рабочий код.
import pandas as pd
df = pd.DataFrame([[0,6,4,2], [1,2,3,4], [1,2,3,5,], [1,2,4,5], [2,7,8,9], [1,2,5,7], [1,3,7,9], [3,6,9,12], [5,10,15,20]])
print(df)
ndf = pd.DataFrame()
similar = 3
def del_similar_records(r, similar):
global ndf
if(ndf.apply(lambda y: len(set(y) & set(r)) < similar).all()):
ndf = pd.concat([ndf,r], axis=1)
return
df.apply(lambda x: del_similar_records(x, similar), axis = 1)
print(ndf.T)
Исходные данные
0 1 2 3
0 0 6 4 2
1 1 2 3 4
2 1 2 3 5
3 1 2 4 5
4 2 7 8 9
5 1 2 5 7
6 1 3 7 9
7 3 6 9 12
8 5 10 15 20
Ожидаемые результат
0 1 2 3
0 0 6 4 2
1 1 2 3 4
4 2 7 8 9
5 1 2 5 7
6 1 3 7 9
7 3 6 9 12
8 5 10 15 20