0

Подскажите, почему может ухудшаться метрика в задаче машинного обучения при добавлении новых признаков? Наиболее интересны модели бустинга над деревьями и случайного леса.

По дефолту добавляемые признаки не содержат пропуски и являются числовыми.

1
  • 1
    Привет! А вы делали предварительную статистику/распределение нового признака относительно классов? Это порой помогает понять его важность при классификации данных :)
    – roddar92
    26 окт 2020 в 16:05

2 ответа 2

0

Делаете ли вы кросс-валидацию? Если ещё не делаете, то мы идём к вам!

Например, возникает переобучение, если признак на самом деле случайный и не коррелирует с таргетом. Сложные модели могут "найти" информацию даже там, где её на самом деле нет.

Либо, наоборот, если признак не очень полезный (но всё же сколько-то полезный), а глубина деревьев у вас ограничена, этот в общем-то лишний признак может воровать у вас один из уровней глубины дерева и этой глубины не хватает для действительно полезных фич.

В общем, причин на самом деле может быть много, поэтому всегда нужно стараться использовать кросс-валидацию на фолдах при обучении, чтобы не давать модели переобучаться как под весь датасет, так и под его части. И хорошо бы проверять фичи через какую-нибудь permutation importance, чтобы отсеивать на первый взгляд богатые инфой признаки, которые на самом деле не дают ничего, кроме переобучения.

И вообще для реальной жизни простые модели на сильно хороших признаках - гораздо полезнее, чем адские смеси из тучи едва полезных признаков, перемешанных диким образом с помощью блендинга и стэкинга, как это любят делать на каггле ради сотых долей процента метрики.

0

Признак может быть зашумлённым, сильно скоррелированными и т.п.. В том числе для этого делают PCA

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.