0

Открываю dataframe, в нем столбцы:

Data, type, rotor

type - значения от 1 до 15 повторяющиеся, rotor просто значения разные. Хочу сделать много новых столбов df['rotor_'+str...], в которых будет копия df['rotor'], но без некоторых комбинаций по type: например, не будет 4, 8, 9, 11, 12 значений из всех.

Делаю такой цикл, но, может, возможно сделать это более красиво и компактно, а главное - быстрее по скорости исполнения, Все-таки это пока что медленно: пока переберутся все значения, проходит много времени, а кололичкство строк измеряется миллионами:

for i in [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]:
    for a in [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]:
        for b in [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]:
            for c in [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]:

                df['a'] = df['rotor']

                df.loc[df['type'] == i, 'a'] = 0
                df.loc[df['type'] == a, 'a'] = 0
                df.loc[df['type'] == b, 'a'] = 0 

                df['rotor_'+str(i)+'.'+str(a)+'.'+str(b)+'.'+str(c)] = df['a']

                print(i,a,b,c)
                df['a'] = 0
9
  • 1
    import itertools;for i, a, b, c, d, e, f in itertools.product(range(1, 16), repeat = 7): ...
    – Danis
    8 фев 2021 в 18:28
  • 2
    я только что увидел, как изнасиловали pandas.
    – strawdog
    8 фев 2021 в 18:32
  • 1
    Прежде всего - зачем вам нужны эти столбцы? Может вы неправильно решаете исходную проблему.
    – CrazyElf
    8 фев 2021 в 18:56
  • 1
    @Валентин, почему в вопросе одно, а в выложенном файле другое - только один новый столбец?? Я как раз надеялся благодаря примеру данных и результату понять алгоритм перебора данных... В общем, в данной формулировке мне непонятно, что вы хотите сделать 8 фев 2021 в 21:31
  • 1
    @Валентин, сделайте игрушечный датасет с 3-5 строками и покажите на примере этого маленького датасета, что вы хотите сделать ;) PS если у вас миллионы строк, то я не уверен что с вашим алгоритмом у вас хватит памяти, чтобы вместить матрицу c десятками тысяч столбцов и миллионами строк, Просто умножьте число строк на число столбцов и все это еще на 8 (float64 - занимает 8 байт) - уверены, что это поместится в памяти? ;) 8 фев 2021 в 21:42

1 ответ 1

2
import itertools

for el in itertools.product(range(1, 16), repeat=7):
    for i in el:
        df['a'] = df['rotor']
        df.loc[df['type'] == i, 'a'] = 0
        df['rotor_'+"".join(map(str, el))] = df['a']
    print(*el)
0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.