У меня есть датафрейм:
doc anno_name start extracted_text anno_init
doc_1 1_1 124.0 text1 1
doc_1 1_2 124.0 text2 1
doc_1 1_3 123.0 text2 1
doc_2 2_1 119.0 text4 2
doc_2 2_1 NaN text4 2
doc_2 2_2 NaN text5 2
doc_3 3_1 123.0 text6 3
doc_3 3_2 123.0 text7 3
doc_3 4_1 124.0 text6 4
doc_3 53 124.0 text6 53
В нем мне нужно удалить дубликаты.
Дубликатом является запись, в которой значения в колонках doc
, anno_init
и start
повторяются, но не есть NaN
Т.е. на выходе должен быть датафрейм:
doc anno_name start extracted_text anno_init
doc_1 1_1 124.0 text1 1
doc_1 1_3 123.0 text2 1
doc_2 2_1 119.0 text4 2
doc_2 2_1 NaN text4 2
doc_2 2_2 NaN text5 2
doc_3 3_1 123.0 text6 3
doc_3 4_1 124.0 text6 4
doc_3 53 124.0 text6 53
Если я сделаю:
df.drop_duplicates(subset = ['doc', 'anno_init', 'start'])
то у меня удалятся так же дубликаты, в которых есть NaN
, что меня не устраивает.
Я могу разделить датафрейм на 2 части: где start == NaN
и start != NaN
, удалить дупликаты во второй части и потом иx обратно заджойнить, но мне это решение не очень нравиться)
Как удалить дубликаты так, чтобы все значения NaN
в колонке start
остались в датафрейме?
Спасибо!