1

Мой код:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.read_csv('PS_2022.01.12_02.04.06.csv', index_col=None, sep=',', comment='#')
planet_ser = df.reindex(columns=['pl_name', 'hostname','discoverymethod', 'disc_year', 'sy_dist', 'st_age', 'rowupdate'])
planet_df = pd.DataFrame(planet_ser)
new_df = planet_df.drop_duplicates().reset_index(drop=True)

У меня есть датафрейм, которые предоставляет информацию об открытиях планет. Некоторые строки между собой сходятся (одна и та же планета) почти по всем параметрам, кроме st_age (возраст планеты), это связано со столбцом rowupdate (последняя, и как я понимаю, более точная информация). Как я могу убрать старую информацию о планете, ориентируясь по rowupdate?

Датафрейм можно взять здесь: https://exoplanetarchive.ipac.caltech.edu/cgi-bin/TblView/nph-tblView?app=ExoTbls&config=PS

Картинка

Я пытался весьма странным способом это всё провернуть:

  1. Найти все уникальные значения планет (pl_name)
  2. Объединить уже их с остальными столбцами

Но это привело к тому, что везде где не сходились данные - появлялись NaN

На выходе хочу получить ±4800 уникальных планет

2

1 ответ 1

3

посмотрите, вы что-то такое хотели?:

(для простоты оставил только два столбца)

import pandas as pd

df = pd.read_csv('PS_2022.01.12_08.47.14.csv', index_col=None, sep=',', comment='#', parse_dates=['rowupdate'])

new_df = df.groupby(['pl_name']).agg({'rowupdate':'max'}).reset_index()
new_df.head()
'''
    pl_name     rowupdate
0   11 Com b    2014-07-23
1   11 UMi b    2018-09-04
2   14 And b    2014-07-23
3   14 Her b    2021-09-20
4   16 Cyg B b  2021-09-20
'''
df.shape, new_df.shape
'''
((31827, 2), (4884, 2))

UPD

чтобы остались все колонки можно сделать примерно так:

(столбцы выбраны произвольно, только для демонстрации)

new_df = df.iloc[df.groupby(['pl_name']).apply(lambda x: x['rowupdate'].idxmax())]
new_df.head()
'''
       pl_name  hostname   sy_dist  sy_disterr1  sy_disterr2  rowupdate
1     11 Com b    11 Com   93.1846       1.9238      -1.9238 2014-07-23
3     11 UMi b    11 UMi  125.3210       1.9765      -1.9765 2018-09-04
5     14 And b    14 And   75.4392       0.7140      -0.7140 2014-07-23
7     14 Her b    14 Her   17.9323       0.0073      -0.0073 2021-09-20
18  16 Cyg B b  16 Cyg B   21.1397       0.0110      -0.0111 2021-09-20
'''
df.shape, new_df.shape
'''
((31827, 6), (4884, 6))

возможно есть более простые и эффективные способы решить эту задачу, надеюсь знатоки pandas поделятся решением.

3
  • Да, это то, что я хотел. Благодарю Вас! 12 янв 2022 в 18:08
  • @НикитаАнуфриев, а почему в вопросе ни слова о том, что в результате вам нужно получить только два столбца?? 12 янв 2022 в 18:09
  • Прошу прощения, да, мне нужно не два столбца, а 6, как на картинке выше, но код @SergFSM помог мне решить мою проблему) 12 янв 2022 в 18:41

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.