Пример:
Исходный DF:
In [66]: df = pd.DataFrame(np.arange(30).reshape(-1,3), columns=list('abc'))
In [67]: df
Out[67]:
a b c
0 0 1 2
1 3 4 5
2 6 7 8
3 9 10 11
4 12 13 14
5 15 16 17
6 18 19 20
7 21 22 23
8 24 25 26
9 27 28 29
Получаем "boolean mask" по условию:
In [68]: mask = df['a'] % 2 == 0
In [69]: mask
Out[69]:
0 True
1 False
2 True
3 False
4 True
5 False
6 True
7 False
8 True
9 False
Name: a, dtype: bool
фильтруем по "boolean mask" - это очень быстрая операция (называется - boolean indexing
):
In [70]: df1, df2 = df[mask], df[~mask]
In [71]: df1
Out[71]:
a b c
0 0 1 2
2 6 7 8
4 12 13 14
6 18 19 20
8 24 25 26
In [72]: df2
Out[72]:
a b c
1 3 4 5
3 9 10 11
5 15 16 17
7 21 22 23
9 27 28 29
Замер времени для DF состоящего из 10.000.000 строк:
In [78]: df = pd.DataFrame(np.random.randint(10**6, size=(10**7,3)), columns=list('abc'))
In [79]: df.shape
Out[79]: (10000000, 3)
In [80]: %%timeit
...: mask = df['a'] % 3 == 0
...: df1, df2 = df[mask], df[~mask]
...:
342 ms ± 4.94 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)