import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(low=0, high=10, size=(1000000, 2)),columns=['a','b'])
df[['a','b']] = df[['a','b']].astype(str)
for i in range(2, df.shape[0]):
df['b'][i] = df['a'][i-2] + ' ' + df['a'][i-1] + ' ' + df['a'][i] + ' ' + df['a'][i+1]
Очень долго крутит цикл. У меня есть датафрейм (1kk строк). Мне необходимо стринг-колонку "b" заполнить элементами из стринг-колонки "а", поэлементно. Такой прогон занимает очень много времени (30-60 минут). Как правильно использовать цикл в питоне?
Я часто сталкиваюсь с такой проблемой в jupyter. В моем случае даже простой цикл
for i in range(0,1000000):
df['b'][i] = df['a'][i+1]
выполняется долго.
Решаемая задача:
У меня есть 30 слов. Предложения из этих слов записаны в колонку df['a'] в каждой ячейке по одному слову. Я хочу узнать распределения последовательности этих слов (по 4 слова в словосочетании), т.е. последовательность "мама" + "любит" + "сильно" + "машу" встречается гораздо меньше чем "мама" + "сильно" + "любит" + "машу" итд.
Собственно для решения этой задачи и создается df['b']
Ответ
В jupitere действительно циклы медленно работают с dataFrame [ссылка] (https://engineering.upside.com/a-beginners-guide-to-optimizing-pandas-code-for-speed-c09ef2c6a4d6). Тут все ясно расписано как с ними нужно работать, но мне было лень разбираться. В итоге я запилил так
df['b'] = df.a.shift[2] + df.a.shift[1] + df.a + df.a.shift[-1]
Всем спасибо!
ngram_range
– MaxU 28 фев '18 в 12:22