2

Есть датафрейм, содержащий несколько столбцов с числовыми значениями и несколько ключевых для задачи столбцов со значениями 1, 2 или 3 df

Задача создать новый столбец, в котором будет число, являющеся комбинацией значений из 3-х ключевых столбцов. Т.е. если в столбцах ['R'] - 3, ['F'] - 1, ['M'] - 2, то в новом столбце значение этой строки должно быть 312. Попытка сделать так:

def join_rfm(x): return str(x['R']) + str(x['F']) + str(x['M'])
df['RFM_Segment'] = df.apply(join_rfm, axis=1)

Выдает значения типа 3.01.02.0 В чём ошибка?

2 ответа 2

2

Создаем пример DataFrame для тестов:

In [27]: df = pd.DataFrame(np.random.choice([1,2,3], size=(5, 3)), columns=list("RFM"))

In [28]: df
Out[28]:
   R  F  M
0  1  2  3
1  1  2  3
2  1  3  2
3  2  3  2
4  1  2  1

Решения:

Вариант 1: умножаем матрицу на вектор - этот вариант будет работать только если значения столбцов ['R'], ['F'], ['M'] состоят из одной цифры:

In [29]: df["RFM_Segment"] = df[list("RFM")] @ [100, 10, 1]

In [30]: df
Out[30]:
   R  F  M  RFM_Segment
0  1  2  3          123
1  1  2  3          123
2  1  3  2          132
3  2  3  2          232
4  1  2  1          121

In [31]: df.dtypes
Out[31]:
R              int32
F              int32
M              int32
RFM_Segment    int32
dtype: object

Вариант 2: склеиваем строки - будет работать для любых значений:

df['RFM_Segment'] = \
       df['R'].astype(str) + \
       df['F'].astype(str) + \ 
       df['M'].astype(str)

Вариант 3: склеиваем строки при помощи метода .sum(axis=1):

In [32]: df[list("RFM")].astype(str).sum(axis=1)
Out[32]:
0    123.0
1    123.0
2    132.0
3    232.0
4    121.0
dtype: float64

метод .sum() предназначен для работы с числами, поэтому Pandas попробовал преобразовать результат к числовому типу. Если бы у нас были значения, которые невозможно преобразовать к числу, то Pandas не делал бы преобразований и оставил склееные строки. В случае числовых значений можно преобразовать все к целым значениям:

    In [34]: df[list("RFM")].astype(str).sum(axis=1).astype(int)
    Out[34]:
    0    123
    1    123
    2    132
    3    232
    4    121
    dtype: int32

Вариант 4: склеиваем строки при помощи метода Series.str.cat():

In [57]: df["R"].astype(str).str.cat(df[["F","M"]].astype(str), sep='')
Out[57]:
0    123
1    123
2    132
3    232
4    121
Name: R, dtype: object

Сравнение производительности различных решений на DataFrame с 100.000 строк:

In [35]: df = pd.DataFrame(np.random.choice([1,2,3], size=(10**5, 3)), columns=list("RFM"))

In [36]: df.shape
Out[36]: (100000, 3)

In [37]: %timeit df[list("RFM")].astype(int) @ [100, 10, 1]
4.61 ms ± 9.7 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [38]: %timeit df['R'].astype(str) + df['F'].astype(str) + df['M'].astype(str)
222 ms ± 13.5 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [39]: %timeit df[list("RFM")].astype(str).sum(axis=1).astype(int)
263 ms ± 22.2 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [40]: %timeit df[['R','F','M']].astype(str).apply(''.join, axis=1)
3.1 s ± 17.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [59]: %timeit df["R"].astype(str).str.cat(df[["F","M"]].astype(str), sep='')
243 ms ± 34.3 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

самый медленный вариант по сравнению с самым быстрым:

In [41]: 3.1 * 1000 / 4.61
Out[41]: 672.4511930585683
0

Или так :)

df[['R','F','M']].astype(str).apply(''.join, axis=1)
2
  • df.apply(..., axis=1) - ооочень медленно работает) 15 ноя 2019 в 9:11
  • даже неприлично медленно :)
    – splash58
    15 ноя 2019 в 9:16

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.