2
from sklearn.externals import joblib #для промежуточных данных
from numpy import loadtxt #для загрузки (csv-файлов в нашем случае)
from sklearn import svm #собственно сам метод

#загружаем обучающие данные и производим дамп в отдельный файл
dataset = loadtxt(open('mnist_train_100.csv', 'r'), dtype='f8', delimiter=',', skiprows=1)
joblib.dump(dataset, 'training_set.pkl')
dataset = joblib.load('training_set.pkl')

#точно так же загружаем тестовые
test = loadtxt(open('mnist_test_10.csv', 'r'), dtype='f8', delimiter=',', skiprows=1)
joblib.dump(test, 'test_set.pkl')
test = joblib.load('test_set.pkl')

#подгружаем дамп и отделяем метки от данных
dataset = joblib.load('training_set.pkl')
target = [x[0] for x in dataset]
train = [x[1:] for x in dataset]

#инициализируем классификатор. Поле kernel указывает на ядро, degree - степень используемого полинома.
clf_poly2 = svm.SVC(kernel = "poly", degree = 2)
clf_poly2.fit(train, target) #обучили

print (clf_poly2.predict(test))
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-114-c369ade85b75> in <module>()
     22 clf_poly2.fit(train, target) #обучили
     23 
---> 24 print (clf_poly2.predict(test))

D:\Data Science stuff\Anaconda\lib\site-packages\sklearn\svm\base.py in predict(self, X)
    546             Class labels for samples in X.
    547         """
--> 548         y = super(BaseSVC, self).predict(X)
    549         return self.classes_.take(np.asarray(y, dtype=np.intp))
    550 

D:\Data Science stuff\Anaconda\lib\site-packages\sklearn\svm\base.py in predict(self, X)
    306         y_pred : array, shape (n_samples,)
    307         """
--> 308         X = self._validate_for_predict(X)
    309         predict = self._sparse_predict if self._sparse else self._dense_predict
    310         return predict(X)

D:\Data Science stuff\Anaconda\lib\site-packages\sklearn\svm\base.py in _validate_for_predict(self, X)
    457             raise ValueError("X.shape[1] = %d should be equal to %d, "
    458                              "the number of features at training time" %
--> 459                              (n_features, self.shape_fit_[1]))
    460         return X
    461 

ValueError: X.shape[1] = 785 should be equal to 784, the number of features at training time

1 ответ 1

1

Ваша модель ожидает на вход матрицу/тензор с 784 столбцами - черно-белая картинка размером 28 x 28, которую записали в одну строку.

В первом столбце mnist_test_10.csv содержится правильная цифра (label / target). Остальные 784 столбца - пиксели, представленные одной строкой.

Поэтому подавайте вашей модели столбцы начиная со второго:

import numpy as np
import pandas as pd
from sklearn.svm import SVC

fn_train = r'D:\temp\.data\mnist_train.csv'
fn_test = r'D:\temp\.data\mnist_test.csv'

train = np.loadtxt(fn_train, dtype='f8', delimiter=',')
test = np.loadtxt(fn_test, dtype='f8', delimiter=',')

X_train = train[:, 1:]
Y_train = train[:, 0]

X_test = test[:, 1:]
Y_test = test[:, 0]

clf_poly2 = SVC(kernel="poly", degree=2, gamma='scale')
clf_poly2.fit(X_train, Y_train)

Вывод на экран:

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=2, gamma='scale', kernel='poly',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)

Т.е. модель успешно обучилась.

Проверим точность модели на проверочной выборке:

In [17]: clf_poly2.score(X_test, Y_test)
Out[17]: 0.9806
12
  • Ничего не изменилось, к сожалению. Выдаёт в точности ту же ошибку.
    – Антон
    15 янв 2019 в 14:56
  • @Антон, можете выложить ваши CSV файлы на какой-нибудь файлообменник? 15 янв 2019 в 14:59
  • [makeyourownneuralnetwork.blogspot.com/2015/03/… взят отсюда.
    – Антон
    15 янв 2019 в 15:04
  • Я прогнал код у себя и возникла новая ошибка: sklearn\svm\libsvm.pyx in sklearn.svm.libsvm.fit() TypeError: must be real number, not str Но как только я убрал параметр gamma, программа заработала, но с меньшей точностью - 0,7. В чём же проблема?
    – Антон
    15 янв 2019 в 16:08
  • Я обновил до 'scikit-learn-0.19.1', но ошибка осталась(
    – Антон
    15 янв 2019 в 16:26

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.