Опыт в программировании не один год, но это мой первый пост на SOF. Прошу помочь мне на позитивной волне влиться в изучение python ☺.
Дано:
Найти:
- Для значения колонки std в каждой строке N датафрейма найти среднеквадратческое отклонение на основании предыдущих i=2 значений (N-1 и N-2; два - в качестве примера; в работе будет i=1000-100000) из колонки bid чтобы получилось как в последней ячейке по ссылке из Дано (и так для 50 миллионов строк - поэтому ищу способы сделать это оптимально)
- (опционально) Универсальный алгоритм, который мог бы считать не только std, но и, скажем, среднекубическое отклонение (только что придумал), то есть, в широком смылсе - взять f(∑X(i)) произвольную функцию от i предыдущих значений колонки
Решение:
- apply не подходит т.к. берет общее значение std по всей колонке bid
- rolling не взлетел т.к. нет процедуры вычисления std для каждой строки, а numpy не принимает на вход данные сложного типа, только массив чисел
- циклом делать не хочется, т.к. предполагаю что для 50 миллионов строк это затянется надолго, но если это единственный вариант - он принимается