Строка в коде на кот.ошибка:
lr.fit(X_train, y_train)
Текст ошибки:
ValueError: could not convert string to float: 'K01'
Как правильно обработать входные данные для обучения, что бы при конвертации не возникало проблем ?
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Присоединиться к сообществуСтрока в коде на кот.ошибка:
lr.fit(X_train, y_train)
Текст ошибки:
ValueError: could not convert string to float: 'K01'
Как правильно обработать входные данные для обучения, что бы при конвертации не возникало проблем ?
Практически все алгоритмы классификации и регрессии ожидают на входе числовую (с целыми или вещественными числами) матрицу. Некоторые методы, заметив что тип данных не числовой, пытаются преобразовать все элементы в вещественное число (float
). Это сработает если все значения - числа представленные в виде строк.
Пример:
In [1]: a = np.array(["123", "456", "-789"])
In [2]: a
Out[2]: array(['123', '456', '-789'], dtype='<U4')
In [3]: a = np.array(a, dtype='float')
In [4]: a
Out[4]: array([ 123., 456., -789.])
Ваш случай:
In [11]: a = np.array(['K01', 'ЗАМЕСТИТЕЛЬ ДИРЕКТОРА'])
In [12]: a
Out[12]: array(['K01', 'ЗАМЕСТИТЕЛЬ ДИРЕКТОРА'], dtype='<U21')
In [13]: a = np.array(a, dtype='float')
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-13-ac40b9268d6f> in <module>()
----> 1 a = np.array(a, dtype='float')
ValueError: could not convert string to float: 'K01'
Вывод: вам надо преобразовать строки в числа. Для этого есть несколько подходов, применение которых, выбирают в зависимости от поставленной задачи.
Наиболее распространенным методом является метод "one-hot-encoding" векторизации.
Пример:
In [14]: from sklearn.feature_extraction.text import CountVectorizer
In [15]: vect = CountVectorizer()
In [16]: data = ['LogisticRegression returns the following error:',
'ValueError: "could not convert string to float"']
In [17]: X = vect.fit_transform(data)
In [18]: X
Out[18]:
<2x12 sparse matrix of type '<class 'numpy.int64'>'
with 12 stored elements in Compressed Sparse Row format>
In [19]: X.A
Out[19]:
array([[0, 0, 1, 0, 1, 1, 0, 1, 0, 1, 0, 0],
[1, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 1]], dtype=int64)
In [20]: pd.SparseDataFrame(X, columns=vect.get_feature_names(), default_fill_value=0)
Out[20]:
convert could error float following logisticregression not returns string the to valueerror
0 0 0 1 0 1 1 0 1 0 1 0 0
1 1 1 0 1 0 0 1 0 1 0 1 1
CountVectorizer
предоставляет гораздо больше возможностей...
22 апр 2018 в 10:22