Подскажите, почему может ухудшаться метрика в задаче машинного обучения при добавлении новых признаков? Наиболее интересны модели бустинга над деревьями и случайного леса.
По дефолту добавляемые признаки не содержат пропуски и являются числовыми.
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Присоединиться к сообществуПодскажите, почему может ухудшаться метрика в задаче машинного обучения при добавлении новых признаков? Наиболее интересны модели бустинга над деревьями и случайного леса.
По дефолту добавляемые признаки не содержат пропуски и являются числовыми.
Делаете ли вы кросс-валидацию? Если ещё не делаете, то мы идём к вам!
Например, возникает переобучение, если признак на самом деле случайный и не коррелирует с таргетом. Сложные модели могут "найти" информацию даже там, где её на самом деле нет.
Либо, наоборот, если признак не очень полезный (но всё же сколько-то полезный), а глубина деревьев у вас ограничена, этот в общем-то лишний признак может воровать у вас один из уровней глубины дерева и этой глубины не хватает для действительно полезных фич.
В общем, причин на самом деле может быть много, поэтому всегда нужно стараться использовать кросс-валидацию на фолдах при обучении, чтобы не давать модели переобучаться как под весь датасет, так и под его части. И хорошо бы проверять фичи через какую-нибудь permutation importance
, чтобы отсеивать на первый взгляд богатые инфой признаки, которые на самом деле не дают ничего, кроме переобучения.
И вообще для реальной жизни простые модели на сильно хороших признаках - гораздо полезнее, чем адские смеси из тучи едва полезных признаков, перемешанных диким образом с помощью блендинга и стэкинга, как это любят делать на каггле ради сотых долей процента метрики.
Признак может быть зашумлённым, сильно скоррелированными и т.п.. В том числе для этого делают PCA