2

У меня есть датафрейм:

doc   anno_name   start   extracted_text    anno_init
doc_1   1_1        124.0    text1              1
doc_1   1_2        124.0    text2              1
doc_1   1_3        123.0    text2              1
doc_2   2_1        119.0    text4              2
doc_2   2_1          NaN    text4              2
doc_2   2_2          NaN    text5              2
doc_3   3_1        123.0    text6              3
doc_3   3_2        123.0    text7              3
doc_3   4_1        124.0    text6              4
doc_3   53         124.0    text6             53

В нем мне нужно удалить дубликаты. Дубликатом является запись, в которой значения в колонках doc, anno_init и start повторяются, но не есть NaN

Т.е. на выходе должен быть датафрейм:

doc   anno_name   start   extracted_text    anno_init
    doc_1   1_1        124.0    text1              1
    doc_1   1_3        123.0    text2              1
    doc_2   2_1        119.0    text4              2
    doc_2   2_1          NaN    text4              2
    doc_2   2_2          NaN    text5              2
    doc_3   3_1        123.0    text6              3
    doc_3   4_1        124.0    text6              4
    doc_3   53         124.0    text6             53

Если я сделаю:

df.drop_duplicates(subset = ['doc', 'anno_init', 'start'])

то у меня удалятся так же дубликаты, в которых есть NaN, что меня не устраивает.

Я могу разделить датафрейм на 2 части: где start == NaN и start != NaN, удалить дупликаты во второй части и потом иx обратно заджойнить, но мне это решение не очень нравиться)

Как удалить дубликаты так, чтобы все значения NaN в колонке start остались в датафрейме? Спасибо!

4
  • 1
    ваш желаемый результат противоречит условию. вторая строка должна остаться в результате, так как значения anno_init не повторяются. либо вы неверно описали условие.
    – strawdog
    14 фев 2022 в 11:06
  • @strawdog для второй строки anno_init есть точно таким же как и у первой :) Поскольку anno_init, start, doc идентичные к первой строке, мы вторую строку удаляем)
    – ivan100096
    14 фев 2022 в 11:12
  • я сегодня невнимательно читаю. как я понял, вы уже пробовали join. думаю, это самый эффективный вариант.
    – strawdog
    14 фев 2022 в 11:35
  • @strawdog спасибо) Ваше решение по крайней мере короче моего - это уже хорошо)
    – ivan100096
    14 фев 2022 в 11:37

2 ответа 2

3

Идея в том, чтобы сделать NaN значения в столбце start уникальными (0, 1, ..., N):

res = (df
       .assign(x=df["start"].fillna(pd.Series(np.arange(len(df)), index=df.index)))
       .drop_duplicates(["doc","anno_init","x"])
       .drop(columns="x"))

результат:

In [91]: res
Out[91]:
     doc anno_name  start extracted_text  anno_init
0  doc_1       1_1  124.0          text1          1
2  doc_1       1_3  123.0          text2          1
3  doc_2       2_1  119.0          text4          2
4  doc_2       2_1    NaN          text4          2
5  doc_2       2_2    NaN          text5          2
6  doc_3       3_1  123.0          text6          3
8  doc_3       4_1  124.0          text6          4
9  doc_3        53  124.0          text6         53
2
  • я тоже сначала думал о замене NaN, и тоже не был уверен, что их можно будет заменить на уникальные. думал даже попробовать использовать uuid, но не был уверен в эффективности.
    – strawdog
    14 фев 2022 в 12:11
  • @strawdog, справедливое замечание. Исправил решение так, чтобы не зависеть от значений индекса ) 14 фев 2022 в 12:15
3

Ну, например, можно сделать так (если датафрейм имеет уникальные индексы):

df = pd.concat([df[~df.isnull().any(axis=1)]
                .drop_duplicates(subset = ['doc', 'anno_init', 'start']),
                df[df.isnull().any(axis=1)]]).sort_index()

теперь df будет:

     doc anno_name  start extracted_text  anno_init
0  doc_1       1_1  124.0          text1          1
2  doc_1       1_3  123.0          text2          1
3  doc_2       2_1  119.0          text4          2
4  doc_2       2_1    NaN          text4          2
5  doc_2       2_2    NaN          text5          2
6  doc_3       3_1  123.0          text6          3
8  doc_3       4_1  124.0          text6          4
9  doc_3        53  124.0          text6         53

если уникального индекса нет, то его нужно сделать для нормальной конкатенации, а потом убрать.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.