1

Строка в коде на кот.ошибка:

lr.fit(X_train, y_train)

Текст ошибки:

ValueError: could not convert string to float: 'K01'

Как правильно обработать входные данные для обучения, что бы при конвертации не возникало проблем ?

17
  • Приведите в вопросе пример входных и выходных данных 22 апр 2018 в 8:21
  • Добрый день MaxU. Не могу привести пример, так как этот символ печатается и показывается как нормальный нул. Могу со скринить 22 апр 2018 в 8:28
  • По-моему проблема в букве “K”, которую вы хотите преобразовать в число 22 апр 2018 в 8:30
  • Нет. Был атрибут с аналогичной проблемой. В том атрибуте было слово "ДИРЕКТОР" и буква '0' была тоже с диагональю. См атрибут я удалил, ну вот при последующей обработке эта проблема с 0 появляется с нова. Скрин отправил . 22 апр 2018 в 8:33
  • В некоторых шрифтах ноль сделан с диагональю, чтобы не путать с буквами “o”, “O” 22 апр 2018 в 8:37

1 ответ 1

1

Практически все алгоритмы классификации и регрессии ожидают на входе числовую (с целыми или вещественными числами) матрицу. Некоторые методы, заметив что тип данных не числовой, пытаются преобразовать все элементы в вещественное число (float). Это сработает если все значения - числа представленные в виде строк.

Пример:

In [1]: a = np.array(["123", "456", "-789"])

In [2]: a
Out[2]: array(['123', '456', '-789'], dtype='<U4')

In [3]: a = np.array(a, dtype='float')

In [4]: a
Out[4]: array([ 123.,  456., -789.])

Ваш случай:

In [11]: a = np.array(['K01', 'ЗАМЕСТИТЕЛЬ ДИРЕКТОРА'])

In [12]: a
Out[12]: array(['K01', 'ЗАМЕСТИТЕЛЬ ДИРЕКТОРА'], dtype='<U21')

In [13]: a = np.array(a, dtype='float')
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-13-ac40b9268d6f> in <module>()
----> 1 a = np.array(a, dtype='float')

ValueError: could not convert string to float: 'K01'

Вывод: вам надо преобразовать строки в числа. Для этого есть несколько подходов, применение которых, выбирают в зависимости от поставленной задачи.

Наиболее распространенным методом является метод "one-hot-encoding" векторизации.

Пример:

In [14]: from sklearn.feature_extraction.text import CountVectorizer

In [15]: vect = CountVectorizer()

In [16]: data = ['LogisticRegression returns the following error:',
                 'ValueError: "could not convert string to float"']

In [17]: X = vect.fit_transform(data)

In [18]: X
Out[18]:
<2x12 sparse matrix of type '<class 'numpy.int64'>'
        with 12 stored elements in Compressed Sparse Row format>

In [19]: X.A
Out[19]:
array([[0, 0, 1, 0, 1, 1, 0, 1, 0, 1, 0, 0],
       [1, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 1]], dtype=int64)

In [20]: pd.SparseDataFrame(X, columns=vect.get_feature_names(), default_fill_value=0)
Out[20]:
   convert  could  error  float  following  logisticregression  not  returns  string  the  to  valueerror
0        0      0      1      0          1                   1    0        1       0    1   0           0
1        1      1      0      1          0                   0    1        0       1    0   1           1
3
  • Преобразование: категориальных данных df=pd.get_dummies(df) 22 апр 2018 в 10:20
  • @максимильин, можно и так, но CountVectorizer предоставляет гораздо больше возможностей... 22 апр 2018 в 10:22
  • @максимильин, возможно вам будет интересно посмотреть на примеры из этого вопроса 22 апр 2018 в 10:24

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.