0

Решал задачу по классификации спама(ноутбук), используя разные методы классификации. Запустил алгоритм SVM, зафиттил, отрисовал работоспособность алгоритма через t-SNE. Еще решил нарисовать подобный график: введите сюда описание изображения

Использовал код отсюда:

plt.figure(figsize=(10, 8))
sns.scatterplot(x=X_train_scaled[:, 0], y=X_train_scaled[:, 1], hue=Y_train, s=8)

# Constructing a hyperplane using a formula.
w = model2.coef_[0]  # w consists of 2 elements
b = model2.intercept_[0]  # b consists of 1 element
x_points = np.linspace(X_train_scaled[:, 0].min(), X_train_scaled[:, 0].max())  # generating x-points
y_points = -(w[0] / w[1]) * x_points - b / w[1]  # getting corresponding y-points
plt.plot(x_points, y_points, c='r')
plt.show()

в итоге появилась ошибка <__array_function__ internals>:200: SparseEfficiencyWarning: Comparing a sparse matrix with 0 using == is inefficient, try using != instead..
Никак не пойму в чем ошибка. Или с векторизованными данными такой рисунок не получится?

3
  • 1
    вам текст ошибки понятен? почему вы решили, что ошибка имеет отношение к отрисовке графика а не к scipy/numpy?
    – strawdog
    Commented 31 мая в 6:57
  • @strawdog не понятен. проблемы возникли во время отрисовки графика, а в связи с чем, не понял.
    – Stan
    Commented 31 мая в 12:43
  • Полный стек-трейс ошибки - прямо в вопрос, по куску ошибки можно только гадать, где она произошла, но явно не в вашем коде, в вашем коде нет никаких сравнений через ==. И вообще это не ошибка, а предупреждение о неэффективном способе сравнения разреженных матриц с числом. То есть всё должно работать, просто менее эффективно, чем могло бы.
    – CrazyElf
    Commented 31 мая в 13:13

1 ответ 1

0

Судя по ноутбуку по ссылке, скорее всего ошибка в этой строке:

sns.scatterplot(x=X_train_scaled[:, 0], y=X_train_scaled[:, 1], hue=Y_train, s=8)

А сама ошибка идёт из Pandas, которым внутри пользуется Seaborn - про разреженную матрицу, что она не хэшируемая:

TypeError: unhashable type: 'csr_matrix'

Какая-то из матриц X_train_scaled и Y_train разреженная (а может и обе, но скорее всё-таки это X), а Seaborn с таким неправильно работает. Попробуйте привести разреженную матрицу к обычной через метод .todense().

Update Да, судя по всему X_train_scaled - это разреженная матрица большой размерности, не зря для её отрисовки вы выше использовали t-SNE. Продолжайте и тут использовать t-SNE, чтобы получить две координаты для отрисовки вместо 100500+ координат. Просто взять координаты 0 и 1 из 100500+ координат вам вряд ли что даст интересного для отрисовки, даже если вы сделаете обычные матрицы из разреженных.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.