2

К примеру есть массив:

X = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14])

Нужно его разбить на n выборок при чем рандомных, к примеру если разбить на 2 выглядеть будет как то так:

[[11, 2, 7, 10, 14, 1, 3], [12, 5, 9, 4, 6, 8, 13]]

Можно конечно перемешать массив и использовать reshape() но здесь вылезла проблема, к примеру если в массиве 14 чисел и я хочу разбить этот массив на 5 выборок то reshape() понятное дело уже не поможет:

X.reshape(5,4)
# ValueError: cannot reshape array of size 14 into shape (5,4)

Результат должен быть таким:

[[11, 10, 13], [3, 12,  6], [1, 7, 9], [8, 14,  5], [4, 2]]

Для решения этой проблемы написал не короткую функцию, где X - массив с данными, n - число выборок на которые нужно этот массив разбить:

def samples(X, n):
    data = np.random.permutation(X)
    step = round(X.shape[0] / n)
    return np.array([data[i:i+step] for i in range(0, len(X), step)])

Уверен что решить это можно куда короче без использования генератора, методами numpy, подскажите как это сделать.

1 ответ 1

2

Воспользуйтесь np.array_split():

In [30]: np.array_split(X, 5)
Out[30]:
[array([1, 2, 3]),
 array([4, 5, 6]),
 array([7, 8, 9]),
 array([10, 11, 12]),
 array([13, 14])]

In [31]: np.array_split(X, 4)
Out[31]:
[array([1, 2, 3, 4]),
 array([5, 6, 7, 8]),
 array([ 9, 10, 11]),
 array([12, 13, 14])]

In [32]: np.array_split(X, 3)
Out[32]: [array([1, 2, 3, 4, 5]), array([ 6,  7,  8,  9, 10]), array([11, 12, 13, 14])]

Для задач связанных с машинным обучением часто используется функция sklearn.model_selection.train_test_split, которая "тасует" случайным образом и разбивает набор входных (X) и выходных/предсказываемых (y) данных на тренировочный и тестируемый сеты X_train, X_test, y_train, y_test:

Пример:

In [38]: from sklearn.model_selection import train_test_split

In [39]: X = np.random.randint(10, size=(6, 3))

In [40]: y = np.random.randint(10, size=(6))

In [41]: X
Out[41]:
array([[9, 7, 6],
       [9, 2, 7],
       [4, 0, 5],
       [6, 3, 3],
       [3, 9, 9],
       [3, 3, 7]])

In [42]: y
Out[42]: array([6, 4, 8, 0, 8, 1])

In [43]: X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33)

In [44]: X_train
Out[44]:
array([[4, 0, 5],
       [3, 3, 7],
       [3, 9, 9],
       [9, 2, 7]])

In [45]: X_test
Out[45]:
array([[9, 7, 6],
       [6, 3, 3]])

In [46]: y_train
Out[46]: array([8, 1, 8, 4])

In [47]: y_test
Out[47]: array([6, 0])
1

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.