Я загрузил Данные и обозначил переменные, а затем преобразовал выборку в массив.
df1 = pd.read_csv('gbm-data.csv')
Y = df1['Activity']
X = df1.drop(['Activity'], axis=1)
df2 = df1.values`
После разделения данных, на обучающую и тестовую выборки:
X_train, X_test, y_train, y_test = train_test_split(X1, Y1, test_size=0.8, random_state=241
Мне необходимо обучить GradientBoostingClassifier
с параметрами n_estimators=250
, verbose=True
, random_state=241
и для каждого значения learning_rate
из списка [1, 0.5, 0.3, 0.2, 0.1]
выполнить следующее:
- Используйте метод
staged_decision_function
для предсказания качества на обучающей и тестовой выборке на каждой итерации. - Преобразуйте полученное предсказание с помощью сигмоидной функции
по формуле 1 / (1 + e^{−y_pred}), где
y_pred
— предсказанное значение. - Вычислите и постройте график значений
log-loss
(которую можно посчитать с помощью функцииsklearn.metrics.log_loss
) на обучающей и тестовой выборках, а также найдите минимальное значение метрики и номер итерации, на которой оно достигается.
Я написал следующий адаптированный под для построения моих моделей и сохранения результатов их вычисления:
common_args = {'verbose': True, 'n_estimators': 250,'random_state': 241}
models = [('first', GradientBoostingClassifier(learning_rate=1, **common_args)),
('second', GradientBoostingClassifier(learning_rate=0.5, **common_args)),
('third', GradientBoostingClassifier(learning_rate=0.3, **common_args)),
('forth', GradientBoostingClassifier(learning_rate=0.2, **common_args)),
('fifth', GradientBoostingClassifier(learning_rate=0.1, **common_args)),
]
stage_preds = []
final_preds = []
y_pred = []
Lloss = []
sigmaYpred = []
for mname, m in models:
m.fit(X_train, y_train)
stage_preds[mname] = {'X_train': list(m.staged_decision_function(X_train)), 'X_test': list(m.staged_decision_function(X_test))}
y_pred[mname] = {'X_test': m.predict_proba(X_test)}
sigmaYpred[mname] = 1 / (1 + np.exp((-1)*y_pred))
Lloss[mname] = {'y_train': list(log_loss(y_train, sigmaYpred[mname])), 'y_test': list(log_loss(y_test, sigmaYpred[mname]))}
Но получаю постоянно эту ошибку:
Traceback (most recent call last): File "", line 15, in stage_preds[mname] = {'X_train': list(m.staged_decision_function(X_train)), 'X_test': list(m.staged_decision_function(X_test))} TypeError: list indices must be integers or slices, not str
В как её исправить чтобы результаты могли сохраняться нормально?
P.S.: Исправив stage_preds
и сделав ее словарём:
stage_preds = dict()
Появляется та же ошибка но с y_pred[mname]
:
Traceback (most recent call last): File "", line 17, in y_pred[mname] = {'X_test': m.predict_proba(X_test)} TypeError: list indices must be integers or slices, not str
Если эту переменную задать как словарь тоже то невозможно будет произвести вычисления сигмы (sigmaYpred[mname]
) так как пайтон не будет знать как взаимодействовать со словарём и числами.