0

Есть датафрейм, в котором индекс это объект DatetimeIndex, он же формат даты datetime64[ns]

                       A  B  C
'2022-12-14 12:00:00'  1  2  3
'2022-12-14 12:00:01'  5  6  7 

Необходимо из этого индекса сделать столбец 'timestamp_s', в котором собственно будет храниться время из индексов в формате timestamp unix секунды.

На ум пришло грубое решение:

df['timestamp_s'] = df.index.astype('int32')
df['timestamp_s'] = df['timestamp_s'].apply(lambda x: (x / 1000000000).__int__())

Собственно, сначала переводим datetime64[ns] в формат int32, ну и затем каждый элемент делим на 10000000, так как после конвертации у нас получились наносекунды. Интересует вопрос, думаю что есть дефолтная функция, которая сделает конвертацию гораздо быстрее, но как она выглядит?

p.s. Данное решение занимает ~53мс, датафрейм состоит из 2млн+ строк и 4 столбцов формата int32

7
  • 2
    не понятно, зачем вы используете apply. df['timestamp_s'] = df.index.view('int64')/(10**9)
    – strawdog
    14 дек 2022 в 14:50
  • @strawdog, опыта мало, 3 день как изучаю пандус
    – Duracell
    14 дек 2022 в 15:18
  • @Ваше решение проделывает всю работу за 4мс, думаю результат лучше не сделать. Если хотите опубликуйте свой ответ, я его приму. Спасибо за помощь.
    – Duracell
    14 дек 2022 в 15:28
  • 1
    Вот, кстати, обратите внимание на этот кейс с apply - вся прелесть pandas (и, уверен, цель разработчиков) - в наличии векторизованных решений почти на все случаи жизни. так что, сначала ищите векторизованные решения, потом имплицитные циклы, потом уже "ванильные" питоновские.
    – strawdog
    14 дек 2022 в 19:10
  • @strawdog, ссылку в студию! - почитать-то интересно что там за кейс!
    – Duracell
    15 дек 2022 в 3:54

1 ответ 1

1

Вероятно, много времени отнимает имплицитный цикл apply, который здесь, кстати, не нужен:

df['timestamp_s'] = df.index.view('int64')/(10**9)

Обратите внимание на модификатор .view(), который теперь разработчики pandas рекомендуют использовать в подобных случаях вместо .astype().

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.