4 голоса

Использование методов fit_transform и transform

Если вдруг этот вопрос ещё для кого-то актуален, хотел бы дополнить ответ уважаемого passant. Вопрос: Почему для данных обучения мы используем метод fit_transform(), а для тестовых данных просто ...
CrazyElf's user avatar
  • 71.4k
3 голоса

Как привести результат обработки данных после нормализации через ScalerMinMax к начальному формату?

Я данные конечно не видел, но могу предположить, что нужно избежать нормализации target столбца, нормализовать надо только X, а не y, качество модели по MAE упадёт, но на самом деле это мнимое ...
EmbraceTradition's user avatar
3 голоса
Принятый

Использование методов fit_transform и transform

По данным обучения (у вас - X_train_plus) вы обучаете свою модель. В данном случае - вы хотите научиться заполнять пропущенные значения. fit_transform() это и делает. При этом результат модели, ...
passant's user avatar
  • 11.8k
2 голоса
Принятый

Ошибка в построении auc-roc

При использовании superwised learning (обучение с учителем), для того чтобы оценить модель, сравнивают предсказанные значения с истинными - заранее известными значениями. Соответственно для того ...
MaxU - stand with Ukraine's user avatar
2 голоса

Ошибка в построении auc-roc

Из официальной документации: sklearn.metrics.roc_auc_score( y_true, # <---- NOTE !!! y_score, average=’macro’, sample_weight=None, max_fpr=None) Parameters: ...
MaxU - stand with Ukraine's user avatar
2 голоса
Принятый

Машинное обучение. Обучение с нуля

Для общего понимания и кругозора можно пройти образовательные курсы на той же Курсере. Хотя бы получите общее представление о спектре задач машинного обучения и какими методами эти задачи решаются. Ну ...
Alexander Parshin's user avatar
2 голоса

Как скачать датасет с kaggle?

Я пользуюсь бесплатной версией google.colab, если есть проблемы с утройством, то советую пользоваться им, там до 25 гб облака и возможность обучать на GPU. С помощью команд в терминале (с Windows ...
Ivan's user avatar
  • 21
2 голоса
Принятый

Индексы в датафрейме

Не нужно ничего конкатенировать. Можно сделать, например, так: df_pred = pd.read_csv('sample_submission.csv') df_pred['SalePrice'] = y_pred То есть взять sample_submission и заполнить в нём столбец ...
CrazyElf's user avatar
  • 71.4k
1 голос

Как увеличить точность метрик: F1, recall, precision?

В общем и целом, для улучшения оценок модели в моем случае было достаточно добавить пару строк в исходный код для определения важности компонентов с помощью rf_best$feature_importances_ и создания ...
  ShadowGhost's user avatar
1 голос

Индексы в датафрейме

По вопросу 1. Вы предлагаете нам зарегистрироваться на kaggle, скачать ваши данные и посмотреть, как там организованы индексы? Но вообще-то конкатенация объединяет данные, а индексы оставляет такими, ...
passant's user avatar
  • 11.8k
1 голос
Принятый

все значения равны NaN

Стандартный разделитель колонок, если я правильно помню, это ; (или он автоматически как-то определяется, точно не помню). У вас в данных, судя по скриншоту, разделитель запятая. Надо указать это при ...
CrazyElf's user avatar
  • 71.4k
1 голос

Помогите пожалуйста советом

А зачем вам Титаник. Там есть и другие задания, попытайтесь решать их. Найдите те, которые вы можете решить уже известными вам методами. А вообще странная постановка задачи. Учить метод, что-бы решить ...
passant's user avatar
  • 11.8k
1 голос

Как привести результат обработки данных после нормализации через ScalerMinMax к начальному формату?

Вообще у MinMaxScaler есть метод inverse_transform, но вам нужно будет подать в него данные с тем же числом колонок, которое вы подавали в fit_transform, потому что разные колонки он же по- разному ...
CrazyElf's user avatar
  • 71.4k
1 голос
Принятый

df_output.iloc[:, 38:].fillna(0, inplace=True) не срабатывает

Вообще должно быть всё нормально, хотя Pandas и выдаёт предупреждение, что возможны глюки из-за того, что вы оперируете копией DataFrame. import pandas as pd import numpy as np df = pd.DataFrame(np....
CrazyElf's user avatar
  • 71.4k
1 голос

Машинное обучение. Обучение с нуля

Вы действительно на полном серьезе считаете что тут, в несколько строк или абзацев "опытные специалисты" вам расскажут больше, чем написано в горах книг и сотнях сайтов, показано в десятках ...
passant's user avatar
  • 11.8k
1 голос
Принятый

Почему RF модель показала точность 0%?

Похоже проблема в том, что вы пытаетесь использовать алгоритм классификации (которые предсказывают дискретные значения) для предсказания непрерывных данных (таких как цена). Для таких задач надо ...
MaxU - stand with Ukraine's user avatar
1 голос
Принятый

Как перебрать данные из pandas.DataFrame.values

я подумал, что лучше постараться не удалять данные, т.к. они могут оказаться полезными: import pandas as pd from sklearn.preprocessing import LabelEncoder train = pd.read_csv(r'C:\download\data\...
MaxU - stand with Ukraine's user avatar
1 голос
Принятый

Пропуски некоторых значений в train датасете

На данный вопрос трудно дать однозначный ответ. Очень многое зависит от конкретных данных. Возможно придется перепробовать несколько различных вариантов. Кроме уже упомянутого вами удаления строк с ...
MaxU - stand with Ukraine's user avatar

Допускаются только превышающие минимальную длину ответы с наивысшим рейтингом, не являющиеся общими