Вопросы с меткой [scikit-learn]
Scikit-Learn — библиотека машинного обучения для Python.
132
вопроса
0
голосов
0ответов
16 показов
FutureWarning: Setting a random_state has no effect since shuffle is False
Делаю "Hello world" в машинном обучении, используя набор данных Iris. У меня уже есть приемлемый результат для ввода этой модели, я использую 80% информации для ее обучения, а остальные 20%-...
0
голосов
1ответ
42 показа
Генерация трехмерных точек и нелинейная регрессия
Требуется сгенерировать трехмерные точки, напоминающие трехмерное круглое сечение. При этом у этого сечения могут быть бугры и впадины, где бугры - это нормальное состояние, которое можно не учитывать,...
3
голоса
1ответ
23 показа
Как нормализовать только ненулевые значения в определенных колонках в StandardScaler?
Как нормализовать только ненулевые значения в определенных колонках?
Мой код:
# set params for normalization
COLUMNS_TO_NORMALIZE = ['a', 'b', 'c']
from sklearn.preprocessing import StandardScaler
...
2
голоса
1ответ
66 показов
Нелинейная регрессия методом Гаусса-Ньютона
Требуется реализовать нелинейную регрессию облака точек круглого сечения.
Есть облако точек в 3d круглого сечения, требуется построить нелинейную регрессию и найти на облаке точек дефекты формы.
...
0
голосов
0ответов
17 показов
Добрый день, не работает код на opencv python. Код на сравнение двух изображений, постоянно выдает ошибку
Проверял путь до картинки, прописывал в коде код, даже перемещал на диск C:, все равно ошибка.
C:\2>python Comp.py -f 1.jpg -s 2.jpg
Traceback (most recent call last):
File "Comp.py", ...
0
голосов
1ответ
25 показов
Partial fit . Обучение по частям в Scikit,
Всем привет!
Я обучаю ML модель на Scikit, обучение проводится на нескольких миллионах текстовых данных. После того, как я готовлю данные к обучению, чищу, нормализую и векторизую, их объем достигает ...
1
голос
0ответов
38 показов
Error: dot: can't open 'small_tree.dot'
# используем .dot формат для визуализации дерева
from sklearn.tree import export_graphviz
export_graphviz(clf_tree, feature_names=['x1', 'x2'],
out_file='small_tree.dot', filled=True)
# для этого ...
2
голоса
1ответ
38 показов
Minmax нормализация на скользящем окне
Как красиво нормализовать данные(0-1) на скользящем окне(5)?
Сейчас есть стандартный нормализатор, нормализующий по всему датасету a:
c = MinMaxScaler().fit_transform(a['Start'])
Так, разумеется, ...
0
голосов
1ответ
92 показа
Логистическая регрессия в Python
вот код с курса
y_pred_train=logreg.predict(x_train)
y_predict_train=logreg.predict_proba(x_train)[:,1]
logreg.score(x_test,y_train)
Вот хорошее объяснение,которое я нашел.
model.predict(X_test) – ...
1
голос
1ответ
1k показов
Машинное обучение. Что делают методы fit() и predict()
Знакомлюсь с машинным обучением с помощью Python и библиотеки sklearn.
Там есть 2 метода fit() и predict()
Честно после некоторых сайтов понимаю,что они делают очень размыто.
lin_reg.fit(x_train[...
0
голосов
1ответ
41 показ
Методы классификации в машинном обучении
Существует некая задача классификации: на обучение классификатор получает массив строк в качестве класса и некоторые числа в качестве параметров.
Есть ли такие методы, не используя нейросетей, которые ...
2
голоса
1ответ
64 показа
Разные значения на выходе при одинаковых параметрах при классификации данных
Подбираю параметры для наилучшего обучения модели классификации.
Делаю это так:
print('Исходная обученность: ', lgb_m_REZ)
g = 775
max_score = 0
g_best = 0
i_best = 0
while g < 779:
...
2
голоса
1ответ
86 показов
Как запустить GridSearchCV на основе своей метрики оценки?
Двухклассовая классификация, y- цели, x - признаки, weights - веса.
Собственная метрика - сумма положительных значений весов при совпадении прогноза с реальностью.
Библиотеки:
import numpy as np
...
1
голос
1ответ
89 показов
Почему такая большая разница в точности при применении критерия Джини и энтропии?
Всем привет.
Продолжаю потихоньку изучать ML и добрался до известного дата-сета 'Wine'. И упёрся в следующий момент: если я использую энтропию в качестве критерия вместо критерия Джини, то точность ...
0
голосов
1ответ
52 показа
Как использовать готовую ML модель на Python (sklearn), когда вся логика реализовывается на другом языке?
У меня модель. Это LGBMClassifier с sklearn.
С помощью pickle я сохранил модель в формате .sav.
Это модель трейдинга, которая будет использоваться для торговли американскими акциями.
Сейчас стоит ...
0
голосов
1ответ
50 показов
Использование методов fit_transform и transform
Прохожу тренинг на kaggle по машинному обучению и столкнулся с недопониманием. Есть код:
# Make copy to avoid changing original data (when imputing)
X_train_plus = X_train.copy()
X_valid_plus = ...
1
голос
1ответ
972 показа
Как работает кроссвалидация - cross_val_score?
Есть датасет, он разделен на признаки - X и на объеты - y. Есть модель - Ridge с настроенными гипер-параметрами. Я могу проверить точность предсказания этой модели с помощью функции cross_val_score?
...
0
голосов
1ответ
29 показов
Как создать список моделей, чтобы присоединить к fit?
Мне нужно вызывать несколько моделей, и решила попробовать их положить
в список, но скормить их потом не получается для обучения модели.
Может есть другой способ?
from sklearn.preprocessing import ...
0
голосов
3ответа
60 показов
Помогите посчитать значение q2 для Leave-One-Out перекрестной проверки линейной регрессии?
Имеется вот такой код:
import pandas as pd
import numpy as np
import seaborn as sns
%matplotlib inline
import matplotlib.pyplot as plt
Porphs_data = pd.read_excel('I:\\Porphyrins\\26_4-Descs_varI_22-...
1
голос
1ответ
150 показов
Как исправить алгоритм ML k-ближайших соседей (kNN)?
Есть код k-ближайших соседей (kNN) и набор данных, разбитый на два набора (для обучения (X, Y) и проверки (x_test, y_test)). А также условие y_knn_filt = np.max(knn.predict_proba(x_test), axis=1) == 1,...
0
голосов
1ответ
42 показа
predict_proba для алгоритма ML k-ближайших соседей (kNN) с LeaveOneOut
Есть код с моделью обучения k-ближайших соседей (kNN) по двум группам с добавлением условия: предсказание метки происходит только в том случае, если два ближайших соседа n_neighbors=2 имеют одинаковую ...
2
голоса
1ответ
239 показов
Алгоритм ML k-ближайших соседей (kNN)
Подскажите, возможно ли и как можно добавить условие, чтобы прогнозирование метки knn.predict(x_test) происходило только в том случае если 2 ближайших соседа n_neighbors=2 имеют одинаковые метки.
...
0
голосов
1ответ
37 показов
Как завернуть несколько кастомных функций в один pipeline?
У меня есть несколько функций для препроцессинга данных и так же модель для обучения.
Я хочу все эти функции использовать внутри одного pipeline.
Вот мои функции:
Первая функция:
def ...
0
голосов
1ответ
42 показа
Проблема с scikit-learn и случайным лесом! Выдает такую ошибку: IndexError: Item wrong length 67 instead of 68
Вот код:
import pandas as pd
import numpy as np
import seaborn as sns
%matplotlib inline
import matplotlib.pyplot as plt
Porphs_data = pd.read_excel('G:\\Porphyrins\\Selected-Descs1.xlsx', index_col=...
1
голос
1ответ
34 показа
Как решить проблему UndefinedMetricWarning при использовании GridSearchCV?
Для выбора лучших параметров модели использую GridSearchCV. Лучшие параметры модели хочу выбрать по метрике f1. Так же в процессе обучения хочу отслеживать метрики precision и recall.
Для этого ...
1
голос
0ответов
56 показов
Машинное обучение Python
Есть набор данных:
A B C D
0 18 13 8 1
0 15 12 9 1
0 12 18 1 0
0 11 19 4 0
..................
100 17 11 6 1
Данные в столбцах A, B, C произвольные, D ...
1
голос
1ответ
3k показов
Ошибка ValueError: The truth value of an array with more than one element is ambiguous.Use a.any() or a.all()
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
iris = load_iris()
X ...
1
голос
2ответа
105 показов
Устранение смещения в выборке
Задача линейной регрессии. Есть генеральная совокупность. Со смещением (свободный член не равен нулю). Размер выборки - порядка 350 наблюдений. 15 независимых параметров. Выборка содержит трудно ...
0
голосов
1ответ
326 показов
Ошибка cannot convert float infinity to integer в момент кластеризации KMeans
Подскажите, как можно её решить?
k_means = KMeans(n_clusters = int(np.round(np.divide(len(keywords), 5))),
init = 'k-means++',
n_init = 10,
max_iter = ...
1
голос
1ответ
75 показов
У меня не проходит нормально стандартизация признаков
У меня не проходит нормально стандартизация признаков.
Есть DataFrame df11, провел его стандартизацию признаков с типом float64.
На выходе получил новый DataFrame, но множество параметров ...
1
голос
1ответ
68 показов
Мультипроцессинг в ООП
Подскажите пожалуйста, запускаю код, но ЦП не загружаются, на графике никаких движений. Результата нет. Где мой косяк?
stop = stopwords.words('russian')
class TextPreprocessor(BaseEstimator, ...
2
голоса
0ответов
65 показов
Визуализировать дисперсии и смещения восстановленной плотности распределения
Имеется задание:
Визуализировать дисперсии и смещения восстановленной плотности распределения для
каждой точки при различных значениях ширины гауссова окна:
а) рассчитанной по правилу
...
1
голос
0ответов
187 показов
Какие отобрать признаки при классификации
Использую для классификации библиотеку scikit-learn, в частности случайный лес и градиентный бустинг. По причине, что качество и скорость классификации приемлемое.
Пробовал "опорные вектора", но ...
1
голос
1ответ
112 показов
Как правильно произвести нормализацию?
Изучаю пример TimeseriesGenerator. Для нормализации в нем используется минимаксное масштабирование. К примеру, при обучении, я заполняю MinMaxScaler некими данными с помощью метода fit. В примере ...
2
голоса
2ответа
84 показа
Как кодировать категориальные признаки, содержащие Nan, без добавления новой категории?
Например, признак, который принимает значения {'Male', 'Female', NaN}, при использовании OneHotEncoder (или какого-нибудь другого средства) переводил этот признак в два численных и кодировал:
...
1
голос
1ответ
321 показ
Функции (метрики) для оценки качества классификации
Как с помощью sklearn или numpy найти долю ошибочно предсказанных значений?
Есть два массива чисел одной длины a, b, где a - настоящие значения, а b - предсказанные. Надо сравнить их, а количество ...
2
голоса
1ответ
66 показов
Как узнать возможные значения параметров классификатора в scikit-learn из Jupyter Notebook?
Например, мы создали классификатор:
from sklearn import linear_model
classifier = linear_model.SGDClassifier()
Теперь мы можем узнать параметры через:
classifier.get_params().keys()
Параметр ...
1
голос
1ответ
190 показов
Как добавить micro avg в отчёт classification_report из sklearn.metrics?
Вывожу для тестовых данных посчитанные метрики:
print(classification_report(y_true, y_pred_classes, target_names = CLASSES))
precision recall f1-score support
**********0 ...
1
голос
1ответ
62 показа
Как объединить две модели регрессии, с выбором через if и закрузкой в pickle
Такая задачка примитивная,
Две модели LinearRegression и RandomForestRegressor
как их состэкать в единую модель которую можно сохранять и загружать при помощи pickle , и при том
чтоб модель для ...
0
голосов
1ответ
481 показ
Python средняя относительная ошибка аппроксимации регрессии
Новичок в питоне и не совсем понимаю как я могу посчитать среднюю относительную ошибку аппроксимации по формуле
import pandas as pd
import math
from sklearn import svm
from sklearn import ...
0
голосов
1ответ
128 показов
Подобрать параметр, максимизирующий F-меру
Подбираю параметр k (целое число), чтобы умножить порог классификации T.
То есть, T = 0.1k.
Есть три алгоритма. Нужно к каждому подобрать такое k, при котором F-мера (f1_score) максимальна.
Написал ...
1
голос
1ответ
164 показа
sklearn.preprocessing.Imputer - не могу заполнить признак модальностью
У меня есть категориальные признаки. В них есть пропуски. Я хочу пропуски заполнить значением моды.
Для этого я использую модуль библиотеки from sklearn.preprocessing import Imputer и делаю следующие:
...
1
голос
1ответ
154 показа
Как добавить расшифровку цветов, соответствующих меткам классов, в качестве лейблов?
Из dataset iris надо разнести по 4 графикам 4 признака по столбцам (0-3).
В массиве y4 лежат метки двух классов 0,1 - они меняют цвет в зависимости от принадлежности к классу.
Как добавить ...
0
голосов
1ответ
153 показа
AttributeError: 'KMeansFeaturizer' object has no attribute 'km_model'
При обращении к классу:
kmf_hint = KMeansFeaturizer(k=100, target_scale=10, random_state=seed).fit(X_train)
training_cluster_features = kmf_hint.transform(X_train)
получаю ошибку
AttributeError: '...
1
голос
1ответ
391 показ
Как правильнее подбирать параметры модели (RandomizedSearchCV,.GridSearchCV) или же вручную
Столкнулся с задачей подбора параметров для модели lightgbm, соответсвенно возникает вопрос, каким способом лучше всего их подбирать? Использовал метод RandomizedSearchCV, в течение 10 часов ...
2
голоса
1ответ
102 показа
Как работает imblearn.under_sampling.ClusterCentroids?
Допустим, есть сильно несбалансированная выборка: X - признаки, у - целевая переменная (бинарная). Балансируем выборку с помощью метода ClusterCentroids() (из модуля imbalanced-learn), получаем новую ...
2
голоса
1ответ
138 показов
Поиск оптимального значения внутри цикла
Есть конструкция:
for ts in [0.1,0.2,0.3,0.4,0.5,0.6,0.7]:
X_train, X_test, y_train, y_test = train_test_split(Xnp, ynp, test_size=ts)
for p in [2,3,4,5,6,7,8,9,10,50,100,150,200]:
...
1
голос
2ответа
108 показов
Ошибка в построении auc-roc
Имеются данные.
Код:
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from scipy.stats import norm
from sklearn.ensemble import RandomForestRegressor as rfr
from scipy import ...
1
голос
1ответ
49 показов
Как можно указать количество итераций в SciKit-Learn?
Как можно указать количество итераций в SciKit-Learn?
2
голоса
1ответ
163 показа
Как применить к массиву inverse_transform?
Имею:
train_x = df_train[cols]
test_x = df_test[cols]
train_y = df_train['SalePrice']
saleprice_scaled = StandardScaler().fit_transform(train_y[:,np.newaxis]);
pred_model.fit(train_x, ...