Вопросы с меткой [scikit-learn]
Scikit-Learn — библиотека машинного обучения для Python.
162
вопроса
0
голосов
0
ответов
22
показа
Bot на python для веб чата , с машинным обучением
Доброго времени суток.
Есть сайт, на котором реализован свой чат, нужно создать бота который будет отвечать на вопросы(определенного направления) от людей (nlp), если ответа он не знает - спрашивал ...
1
голос
1
ответ
26
показов
sklearn - Как построить простой конвеер Pipeline для набора данных?
Описание: сижу на Kaggle на задаче SS Titanic, метки в наборе данных представлены как Boolean тип, поэтому нужно их превратить в числовой тип (1-0). Это я сделал просто напрямую работая с колонкой ...
0
голосов
1
ответ
60
показов
Как правильно масштабировать данные в нейросети
Я обучаю нейронную сеть. У НС три входа - два для временной последовательности (слои LSTM) и один просто числовой (полносвязный слой Dense). Структура нейросети через .summary():
Проблема вот в чем. ...
1
голос
1
ответ
68
показов
python Scikit-learn как правильно смоделировать задачу классификации (Random forest)
Есть такой dataframe:
index
razryad
age
salary
1
2
22
30000
2
3
19
36000
3
4
30
40000
4
5
25
47000
Коротко: таблица содержит уровень зарплаты, где есть зависимость чем выше разряд тем выше ...
0
голосов
0
ответов
262
показа
Как установить TensorFlow на Macbook M1
Подскажите, пожалуйста, как правильно установить TensorFlow 2 на Macbook M1. По официальной иснтрукции https://www.tensorflow.org/install/pip?hl=ru#macos проверяю версии:
Python 3.9.10
pip 22.0.4 from ...
0
голосов
1
ответ
47
показов
random search optimization tuning
Можете объяснить для чего нужно random search optimization tuning для decision tree или ссылки на русском. И как это реализовать.
0
голосов
1
ответ
102
показа
Выбросы на датасете
Detecting outliers.
plt.figure(figsize=(18, 2))
plt.boxplot(df[['MEDV']], vert=False)
plt.show()
Пытаюсь анализировать "Boston House Price" датасет.
Но не могу уточнит: мы можем ли сказать ...
1
голос
1
ответ
72
показа
Коэффициенты с названием переменных по ним
Вычисляю линейную регрессию.
Нужно узнать наименования коэффициентов весов.
model.coef
Не могу найти - как это сделать?
model = LinearRegression().fit(X_train, y_train)
coeff = model.coef_
print('...
1
голос
1
ответ
138
показов
Доля объяснённой дисперсии с Pipeline
подскажите, пожалуйста, как найти долю объясненной дисперсии, если используем Pipeline?
base_model = Pipeline([
('scaler', StandardScaler()),
('pca', PCA(svd_solver = "randomized"...
0
голосов
2
ответа
79
показов
Ошибка при вычислении mean_absolute_error
При вычислении MAE вылезла ошибка:
Found input variables with inconsistent numbers of samples: [276, 355]
Хотя за 5 минут до этого всё хорошо считалось, не понимаю что пошло не так:
X = student_data....
0
голосов
1
ответ
105
показов
Как преобразовать dataset для нейросети
Вопрос в следующем: для тренировок обучения нейросети в ScLearn есть dataset Iris. У меня есть рабочая нейросеть для тренировок с ирисами, которая мне подходит для решения другой задачи. Но для её ...
1
голос
2
ответа
663
показа
Выделить матрицу признаков и целевую переменную из загруженных данных
Верно ли я нахожу матрицу признаков и целевую переменную из датасета?
Вот, что у меня получается:
import numpy as np
import pandas as pd
data = pd.read_csv('data.csv')
from sklearn.linear_model ...
2
голоса
1
ответ
40
показов
Почему классификатор SVM выдает недвоичные значения предсказания?
Хочу получить бинарное предсказание на выходе.
Подскажите, почему выдает значения отличные от 0 и 1?
df_train
df_test
4000 rows × 80 columns и
1000 rows × 80 columns
from sklearn.svm import SVC
...
2
голоса
1
ответ
103
показа
Кодирование признаков
Необходимо реализовать Kfold схему с пятью фолдами.
Разбить данные на 5 фолдов и проитерироваться по ним: по 4 обучающих фолда для подсчета средних значений таргета по item_id и этими значениями ...
1
голос
1
ответ
76
показов
__init__() takes from 1 to 2 positional arguments but 3 were given (1C: Искусственный интеллект)
Пару дней назад установил ИИ на 1С с определенными библиотеками, всё работал без проблем. Решил обновить пакеты библиотек и начало выдавать такую ошибку. Похожие вопросы находил, но не принесли ...
0
голосов
1
ответ
36
показов
Сравнение txt файлов с кодами, big data
Есть корпус текстов, список списков.
Каждый список разной длины и включает коды типа 'y58u ufgh ko9u'.
Мне необходимо сравнить все txt файлы между собой по этим кодам, чтобы выяснить какие списки ...
0
голосов
3
ответа
175
показов
Последовательный вывод изображений Python
Как можно сделать последовательный вывод изображений в Spyder? На данный момент получается вывести только последнее изображение
img_5 = imread('C:/abc1.png')
imshow(img_5)
img_6 = imread('C:/abc2.png'...
1
голос
0
ответов
54
показа
Метрика Mutial information с многоканальными изображениями в батче
Подробнее о метрике MI: https://matthew-brett.github.io/teaching/mutual_information.html
Реализация: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.mutual_info_score.html?highlight=...
2
голоса
1
ответ
65
показов
Модуль 'skimage.data' не имеет атрибута 'imread'
Установил scikit-images, импортировал skimage в код. Ошибок с самой функцией skimage нет, но в строках:
for f in file_names:
images.append(skimage.data.imread(f))
labels.append(int(d))
При ...
1
голос
1
ответ
99
показов
Веса для ключевых фраз в тексте
Есть статья, мне в ней нужно выделить ключевые фразы по паттерну и определить их веса.
Ключевые фразы я выделил.Привожу код
import spacy
from spacy.matcher import Matcher
nlp = spacy.load('...
0
голосов
1
ответ
89
показов
Логика создания новых предикторов DataFrame используя "target" в Pandas
Помогите пожалуйста разобраться с логикой процесса:
Дан df_train для обучения модели
и df_test по которому необходимо сделать финальный прогноз.
Таргет - "quantity"
Не могу понять, если я ...
0
голосов
1
ответ
135
показов
Как правильно использовать GridSearchCV в sklearn?
Имею: код, строящий GridSearchCV с KNN классификатором.
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
param_grid = [{'weights': ["uniform", "...
0
голосов
1
ответ
92
показа
Как оцифровать изображения дата-сета в Pandas DataFrame?
Имеется: папка с цветными картинками одинакового размера (256x256), всего таких картинок 115. Необходимо создать Pandas DataFrame, в котором были бы все оцифрованные картинки. Вот пример (как я ...
0
голосов
1
ответ
213
показов
Как подготовить свой датасет для Machine Learning?
К примеру: имеется папка с картинками одного объекта, формат картинок - png. Хочу научить классификатор (использую scikit-learn, Python) распозновать этот объект, но что передать в метод fit в ...
0
голосов
1
ответ
33
показа
'numpy.float64' object cannot be interpreted as an integer при вычислении метрик
Всем привет. Имеется оригинально и эталонное изображение, по которому ищу контуры различными методами. Пытаюсь высчитать метрики, чтобы понять какой результат лучше. Собственно при выполнении кода ...
2
голоса
1
ответ
239
показов
Многоклассовая классификация
Я делаю классификатор, есть 50+ классов, у них есть 100 + массивов по 100+ элементов
Подробнее: Существует dataset массивов c номерами классами к которым они относятся
dataset = {
"Класс 1": ...
0
голосов
1
ответ
214
показов
Что делать с выбросами дальше на примере Isolation Forest
В инструкции по sklearn есть пример по обнаружению выбросов IsolationForest:
from sklearn.ensemble import IsolationForest
import numpy as np
rng = np.random.RandomState(42)
# Generate train data
X = ...
0
голосов
1
ответ
97
показов
Как получить оригинальные названия признаков из Pipeline?
У меня есть Pipeline
param_tuning = {
'classifier__learning_rate': [0.01, 0.1],
'classifier__max_depth': [3, 5, 7, 10],
'classifier__min_child_weight': [1, 3, 5],
'...
1
голос
1
ответ
554
показа
В чём разница между функциями LinearRegression.score и metrics.r2_score в scikit-learn?
Помогите пожалуйста разобраться, в чем ключевое отличие коэффициентов детерминации: встроенного в линейную регрессию LinearRegression.score и независимого r2_score. В каких случаях лучше применять ...
4
голоса
3
ответа
370
показов
Как визуализировать точки которые расставил для себя алгоритм kNN?
Задавал вопрос как визуализировать точки которые расставил для себя алгоритм kNN?
То есть, у меня есть DataFrame 3000 объектов с 18 признаками, классифицирую данные с помощью алгоритма kNN. Науч.рук. ...
0
голосов
1
ответ
551
показ
Разбиение на выборки и кросс-валидация
Скажите, у меня есть df... Если я собираюсь использовать кросс-валидацию, мне же достаточно разбить на обучающую и тестовую выборки мой df и мне не нужно дополнительно извлекать валидационный набор. ...
0
голосов
0
ответов
111
показов
FutureWarning: Setting a random_state has no effect since shuffle is False
Делаю "Hello world" в машинном обучении, используя набор данных Iris. У меня уже есть приемлемый результат для ввода этой модели, я использую 80% информации для ее обучения, а остальные 20%-...
0
голосов
1
ответ
80
показов
Генерация трехмерных точек и нелинейная регрессия
Требуется сгенерировать трехмерные точки, напоминающие трехмерное круглое сечение. При этом у этого сечения могут быть бугры и впадины, где бугры - это нормальное состояние, которое можно не учитывать,...
3
голоса
1
ответ
80
показов
Как нормализовать только ненулевые значения в определенных колонках в StandardScaler?
Как нормализовать только ненулевые значения в определенных колонках?
Мой код:
# set params for normalization
COLUMNS_TO_NORMALIZE = ['a', 'b', 'c']
from sklearn.preprocessing import StandardScaler
...
2
голоса
1
ответ
397
показов
Нелинейная регрессия методом Гаусса-Ньютона
Требуется реализовать нелинейную регрессию облака точек круглого сечения.
Есть облако точек в 3d круглого сечения, требуется построить нелинейную регрессию и найти на облаке точек дефекты формы.
...
0
голосов
1
ответ
120
показов
Partial fit . Обучение по частям в Scikit,
Всем привет!
Я обучаю ML модель на Scikit, обучение проводится на нескольких миллионах текстовых данных. После того, как я готовлю данные к обучению, чищу, нормализую и векторизую, их объем достигает ...
1
голос
0
ответов
108
показов
Error: dot: can't open 'small_tree.dot'
# используем .dot формат для визуализации дерева
from sklearn.tree import export_graphviz
export_graphviz(clf_tree, feature_names=['x1', 'x2'],
out_file='small_tree.dot', filled=True)
# для этого ...
2
голоса
1
ответ
182
показа
Minmax нормализация на скользящем окне
Как красиво нормализовать данные(0-1) на скользящем окне(5)?
Сейчас есть стандартный нормализатор, нормализующий по всему датасету a:
c = MinMaxScaler().fit_transform(a['Start'])
Так, разумеется, ...
0
голосов
1
ответ
522
показа
Логистическая регрессия в Python
вот код с курса
y_pred_train=logreg.predict(x_train)
y_predict_train=logreg.predict_proba(x_train)[:,1]
logreg.score(x_test,y_train)
Вот хорошее объяснение,которое я нашел.
model.predict(X_test) – ...
2
голоса
1
ответ
13k
показов
Машинное обучение. Что делают методы fit() и predict()
Знакомлюсь с машинным обучением с помощью Python и библиотеки sklearn.
Там есть 2 метода fit() и predict()
Честно после некоторых сайтов понимаю,что они делают очень размыто.
lin_reg.fit(x_train[...
0
голосов
1
ответ
125
показов
Методы классификации в машинном обучении
Существует некая задача классификации: на обучение классификатор получает массив строк в качестве класса и некоторые числа в качестве параметров.
Есть ли такие методы, не используя нейросетей, которые ...
2
голоса
1
ответ
293
показа
Разные значения на выходе при одинаковых параметрах при классификации данных
Подбираю параметры для наилучшего обучения модели классификации.
Делаю это так:
print('Исходная обученность: ', lgb_m_REZ)
g = 775
max_score = 0
g_best = 0
i_best = 0
while g < 779:
...
2
голоса
1
ответ
568
показов
Как запустить GridSearchCV на основе своей метрики оценки?
Двухклассовая классификация, y- цели, x - признаки, weights - веса.
Собственная метрика - сумма положительных значений весов при совпадении прогноза с реальностью.
Библиотеки:
import numpy as np
...
1
голос
1
ответ
283
показа
Почему такая большая разница в точности при применении критерия Джини и энтропии?
Всем привет.
Продолжаю потихоньку изучать ML и добрался до известного дата-сета 'Wine'. И упёрся в следующий момент: если я использую энтропию в качестве критерия вместо критерия Джини, то точность ...
0
голосов
1
ответ
119
показов
Как использовать готовую ML модель на Python (sklearn), когда вся логика реализовывается на другом языке?
У меня модель. Это LGBMClassifier с sklearn.
С помощью pickle я сохранил модель в формате .sav.
Это модель трейдинга, которая будет использоваться для торговли американскими акциями.
Сейчас стоит ...
1
голос
2
ответа
976
показов
Использование методов fit_transform и transform
Прохожу тренинг на kaggle по машинному обучению и столкнулся с недопониманием. Есть код:
# Make copy to avoid changing original data (when imputing)
X_train_plus = X_train.copy()
X_valid_plus = ...
1
голос
1
ответ
5k
показов
Как работает кроссвалидация - cross_val_score?
Есть датасет, он разделен на признаки - X и на объеты - y. Есть модель - Ridge с настроенными гипер-параметрами. Я могу проверить точность предсказания этой модели с помощью функции cross_val_score?
...
0
голосов
1
ответ
48
показов
Как создать список моделей, чтобы присоединить к fit?
Мне нужно вызывать несколько моделей, и решила попробовать их положить
в список, но скормить их потом не получается для обучения модели.
Может есть другой способ?
from sklearn.preprocessing import ...
0
голосов
3
ответа
88
показов
Помогите посчитать значение q2 для Leave-One-Out перекрестной проверки линейной регрессии?
Имеется вот такой код:
import pandas as pd
import numpy as np
import seaborn as sns
%matplotlib inline
import matplotlib.pyplot as plt
Porphs_data = pd.read_excel('I:\\Porphyrins\\26_4-Descs_varI_22-...
1
голос
1
ответ
210
показов
Как исправить алгоритм ML k-ближайших соседей (kNN)?
Есть код k-ближайших соседей (kNN) и набор данных, разбитый на два набора (для обучения (X, Y) и проверки (x_test, y_test)). А также условие y_knn_filt = np.max(knn.predict_proba(x_test), axis=1) == 1,...