0

Как не используя цикл удалить из DataFrame "похожие" строки. Из DataFrame требуется удалить строки у которых 3 элемента из 4 совпадают с текущей сравниваемой строкой. Ниже приведен пример кода использующий цикл. Если не возможно обойтись без цикла, то как можно оптимизировать приведенный код?

Исходные данные

import pandas as pd
df = pd.DataFrame([[0,6,4,2], [1,2,3,4], [1,2,3,5,], [1,2,4,5], [2,7,8,9], [1,2,5,7]])

i = 0 

ndf =df.copy()

while i < len(ndf)-1:
    if(i not in ndf.index):
        i = i + 1
        continue
    r = set(ndf.loc[ndf.index == i].values[0])
    p1 = ndf.loc[:i, :]
    p2 = ndf.loc[i+1:, :]
    p3 = p2.loc[p2.apply(lambda x: len(set(list(x)) & r) < 3, axis = 1 )]
    ndf = pd.concat([p1, p3])
    i = i + 1

print("Source data")    
print(df)    
print('-------------------')
print("Filtered data")    
print(ndf)

Ожидаемый результат

Source data
   0  1  2  3
0  0  6  4  2
1  1  2  3  4
2  1  2  3  5
3  1  2  4  5
4  2  7  8  9
5  1  2  5  7
-------------------
Result data
   0  1  2  3
0  0  6  4  2
1  1  2  3  4
4  2  7  8  9
5  1  2  5  7
2
  • Позиция элементов имеет значение? Например строку со значениями 2, 5, 1, 9 - удаляем или оставляем? 14 июн 2019 в 7:06
  • Позиция элементов не имеет значения, но имеет значение строки. 14 июн 2019 в 7:54

1 ответ 1

1

Ниже приведенный код, который последовательно в цикле из DataFrame удаляет все строки (кроме сравнимовой) имеющие не больше allowed_max_similar_elements в каждой сравнимовой строке.

import pandas as pd
df = pd.DataFrame([[0,6,4,2], [1,2,3,4], [1,2,3,5,], [1,2,4,5], [2,7,8,9], [1,2,5,7]])


def del_similar_records(df, allowed_max_similar_elements):
    ndf = df.copy()
    i = 0;
    while i < len(ndf):
        idx = ndf.index[i]
        s = set(ndf.loc[idx])
        ndf = ndf.loc[ (ndf.index == idx)  | (ndf.apply(lambda x: len(set(x) & s) < allowed_max_similar_elements, axis = 1))]
        i = i + 1    
    return ndf

print("Source data")    
print(df)
print('-------------------')
print("Filtered data")    
print(del_similar_records(df, 3))

Результат

Source data
   0  1  2  3
0  0  6  4  2
1  1  2  3  4
2  1  2  3  5
3  1  2  4  5
4  2  7  8  9
5  1  2  5  7
-------------------
Filtered data
   0  1  2  3
0  0  6  4  2
1  1  2  3  4
4  2  7  8  9
5  1  2  5  7

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.