1

Мне нужно разбить датафрейм Pandas на два датафрейма по условию.

Понятно, что можно сделать просто две выборки из исходного датафрейма по противоположным условиям. Но здесь получается два прохода по одним и тем же данным. Есть ли какое-то более прямое решение?

1 ответ 1

2

Пример:

Исходный DF:

In [66]: df = pd.DataFrame(np.arange(30).reshape(-1,3), columns=list('abc'))

In [67]: df
Out[67]:
    a   b   c
0   0   1   2
1   3   4   5
2   6   7   8
3   9  10  11
4  12  13  14
5  15  16  17
6  18  19  20
7  21  22  23
8  24  25  26
9  27  28  29

Получаем "boolean mask" по условию:

In [68]: mask = df['a'] % 2 == 0

In [69]: mask
Out[69]:
0     True
1    False
2     True
3    False
4     True
5    False
6     True
7    False
8     True
9    False
Name: a, dtype: bool

фильтруем по "boolean mask" - это очень быстрая операция (называется - boolean indexing):

In [70]: df1, df2 = df[mask], df[~mask]

In [71]: df1
Out[71]:
    a   b   c
0   0   1   2
2   6   7   8
4  12  13  14
6  18  19  20
8  24  25  26

In [72]: df2
Out[72]:
    a   b   c
1   3   4   5
3   9  10  11
5  15  16  17
7  21  22  23
9  27  28  29

Замер времени для DF состоящего из 10.000.000 строк:

In [78]: df = pd.DataFrame(np.random.randint(10**6, size=(10**7,3)), columns=list('abc'))

In [79]: df.shape
Out[79]: (10000000, 3)

In [80]: %%timeit
    ...: mask = df['a'] % 3 == 0
    ...: df1, df2 = df[mask], df[~mask]
    ...:
342 ms ± 4.94 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.