0

Имеется list df , в нем содрежится 193270 строк, есть ли быстрый способ записать их в DataFrame?

как делаю я:

s = pd.DataFrame()
for i in tqdm_notebook(np.arange(0,len(df))):
    s = pd.concat([s,df[i]]) 

Запись идет, но чем больше строк в DataFrame, тем медленнее запись

введите сюда описание изображения

Как видно сейчас показывает 4 часа записи, и это значение растет.

1

1 ответ 1

1

Если df - это список, как написано у вас в вопросе, то DataFrame можно создать так:

s = pd.DataFrame(df)

В любом случае добавлять 193270 строк в DataFrame по одной - самый медленный и неэффективный способ.

Вызывая pd.concat([s,df[i]]) 193270 раз, вы 193270 раз создаете новый DataFrame и копируете в него все данные из s, по мере работы цикла число строк в s постоянно растёт - как следствие цикл будет работать все медленнее.

2

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.