Задача для произвольных размеров выборок
Заданы размеры в процентах для тренировочной и валидационной выборки, например:
train_size = 60
valid_size = 20
Тестовую выборку, в таком случае, мы получим из того куска датасета, который останется от тренировочной и валидационной: test_size = 100 - train_size - valid_size
.
Решение
Используем метод numpy.split()
. Он принимает на вход датафрейм и пороги срезов. Возвращает разрезанные куски датафрейма. Предварительно, данные в датафрейме требуется перемешать с помощью pandas.DataFrame.sample()
Итак:
import numpy as np
import pandas as pd
def triple_split(data, t_size, v_size):
return np.split(
data.sample(frac=1, random_state=123),
[int(len(data)*t_size/100),
int(len(data)*(t_size+v_size)/100)]
)
dic = {
'A': np.random.randint(10, 99, 20),
'B': np.random.randint(10, 99, 20),
'C': np.random.randint(10,99, 20)
}
df = pd.DataFrame.from_dict(dic)
print(df)
train_size = 60
val_size = 20
train, valid, test = triple_split(df, train_size, val_size)
print(train)
print(valid)
print(test)
Важно
Метод train_test_split()
опционально поддерживает параметр стратификации, который отвечает за распределение выборки по классам. Если он будет необходим - тогда останется только применять train_test_split()
два раза, как указано в соседнем ответе.