from sklearn.externals import joblib #для промежуточных данных
from numpy import loadtxt #для загрузки (csv-файлов в нашем случае)
from sklearn import svm #собственно сам метод
#загружаем обучающие данные и производим дамп в отдельный файл
dataset = loadtxt(open('mnist_train_100.csv', 'r'), dtype='f8', delimiter=',', skiprows=1)
joblib.dump(dataset, 'training_set.pkl')
dataset = joblib.load('training_set.pkl')
#точно так же загружаем тестовые
test = loadtxt(open('mnist_test_10.csv', 'r'), dtype='f8', delimiter=',', skiprows=1)
joblib.dump(test, 'test_set.pkl')
test = joblib.load('test_set.pkl')
#подгружаем дамп и отделяем метки от данных
dataset = joblib.load('training_set.pkl')
target = [x[0] for x in dataset]
train = [x[1:] for x in dataset]
#инициализируем классификатор. Поле kernel указывает на ядро, degree - степень используемого полинома.
clf_poly2 = svm.SVC(kernel = "poly", degree = 2)
clf_poly2.fit(train, target) #обучили
print (clf_poly2.predict(test))
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-114-c369ade85b75> in <module>()
22 clf_poly2.fit(train, target) #обучили
23
---> 24 print (clf_poly2.predict(test))
D:\Data Science stuff\Anaconda\lib\site-packages\sklearn\svm\base.py in predict(self, X)
546 Class labels for samples in X.
547 """
--> 548 y = super(BaseSVC, self).predict(X)
549 return self.classes_.take(np.asarray(y, dtype=np.intp))
550
D:\Data Science stuff\Anaconda\lib\site-packages\sklearn\svm\base.py in predict(self, X)
306 y_pred : array, shape (n_samples,)
307 """
--> 308 X = self._validate_for_predict(X)
309 predict = self._sparse_predict if self._sparse else self._dense_predict
310 return predict(X)
D:\Data Science stuff\Anaconda\lib\site-packages\sklearn\svm\base.py in _validate_for_predict(self, X)
457 raise ValueError("X.shape[1] = %d should be equal to %d, "
458 "the number of features at training time" %
--> 459 (n_features, self.shape_fit_[1]))
460 return X
461
ValueError: X.shape[1] = 785 should be equal to 784, the number of features at training time
1 ответ
Ваша модель ожидает на вход матрицу/тензор с 784 столбцами - черно-белая картинка размером 28 x 28, которую записали в одну строку.
В первом столбце mnist_test_10.csv
содержится правильная цифра (label
/ target
). Остальные 784 столбца - пиксели, представленные одной строкой.
Поэтому подавайте вашей модели столбцы начиная со второго:
import numpy as np
import pandas as pd
from sklearn.svm import SVC
fn_train = r'D:\temp\.data\mnist_train.csv'
fn_test = r'D:\temp\.data\mnist_test.csv'
train = np.loadtxt(fn_train, dtype='f8', delimiter=',')
test = np.loadtxt(fn_test, dtype='f8', delimiter=',')
X_train = train[:, 1:]
Y_train = train[:, 0]
X_test = test[:, 1:]
Y_test = test[:, 0]
clf_poly2 = SVC(kernel="poly", degree=2, gamma='scale')
clf_poly2.fit(X_train, Y_train)
Вывод на экран:
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
decision_function_shape='ovr', degree=2, gamma='scale', kernel='poly',
max_iter=-1, probability=False, random_state=None, shrinking=True,
tol=0.001, verbose=False)
Т.е. модель успешно обучилась.
Проверим точность модели на проверочной выборке:
In [17]: clf_poly2.score(X_test, Y_test)
Out[17]: 0.9806
-
-
@Антон, можете выложить ваши CSV файлы на какой-нибудь файлообменник? 15 янв 2019 в 14:59
-
-
Я прогнал код у себя и возникла новая ошибка: sklearn\svm\libsvm.pyx in sklearn.svm.libsvm.fit() TypeError: must be real number, not str Но как только я убрал параметр gamma, программа заработала, но с меньшей точностью - 0,7. В чём же проблема?– Антон15 янв 2019 в 16:08
-