Построил 2 модели кредитного скоринга (задача бинарной классификации) на XGBoost и RandomForest. Накидал из БД различных фичей, около 60, загрузил. Построил график значимости признаков.
1) Стоит ли усекать количество фичей, если по графику видно, что значимости они не несут, если да, то по какой линии? (график прикреплен снизу)
2) Стоит ли оставлять бинарные фичи, в которых соотношение категорий например 90 на 10% и они не входят, скажем, в первую 10ку самых значимых признаков?
3) Каким образом может повлиять на модель и конкретно на эффективность модели бустинга и случайного леса, если оставить все эти "маловлиятельные" признаки?
Или же нужно ориентироваться чисто на какие-либо метрики вроде auc-roc, gini, accuracy? Грубо говоря - убрал\добавил, посмотрел на значение метрики увеличилась\нет и опять заного..
Подскажите.
Функция отрисовки графика:
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.impute import SimpleImputer as Imputer
from sklearn import ensemble
from xgboost import XGBClassifier
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split, StratifiedKFold, GridSearchCV
from scipy.interpolate import interp1d
from scipy.integrate import quad
from sklearn.metrics import roc_auc_score, roc_curve, confusion_matrix, mean_squared_error, classification_report
import itertools
# (присутствуют лишние импорты)
def MY_plotting_feature_priority(X, model, n=3):
importances = model.feature_importances_
indices = np.argsort(importances)[::-1]
feature_names = X.columns
d_first = X.shape[1]
plt.figure(figsize=(8, 8))
plt.title("Значимость признаков")
plt.bar(range(d_first), importances[indices[:d_first]], align='center')
plt.xticks(range(d_first), np.array(feature_names)[indices[:d_first]], rotation=90)
plt.xlim([-1, d_first])
best_features = indices[:n]
best_features_names = feature_names[best_features]
print(f'Первые {n} значимых признаков {list(best_features_names)} из {d_first} ')
plt.show()