1

Подскажите, мешают ли лишние признаки в xgboost, или он их просто не будет их использовать(при построение деревьев), если там нет полезной информации. Т.е. много признаков для этой модели не вредно?

1
  • 1
    Верный ответ дать нельзя. Xgboost настолько усовершенствовался, что встроенные методы регуляризации и контроля переобучения позволяют избегать ошибок, вызванных использованием избыточного количества не информативных признаков. Вопрос в том используете ли вы эти методы посредством установки, настройки, а главное понимания гиппер-параметров? Commented 14 окт. 2023 в 13:25

2 ответа 2

1

Поскольку xgboost - это сложная модель, то она может быть склонна к переобучению, то есть она может "находить" "полезную информацию" даже там, где её может и нет. Поэтому нужно обязательно использовать кросс-валидацию, пробовать разные параметры модели, которые способствуют уменьшению переобучения, пробовать разные методы отбора признаков.

В реальной жизни, в отличие от соревнований по машинному обучению, тем меньше признаков использует модель, пусть даже при чуть худшем качестве - тем обычно лучше. Меньшее количество признаков проще интерпретировать (понимать зависимость результата модели от конкретных признаков), модели нужны меньшие вычислительные мощности, нужно собирать, чистить и обогащать меньшее количество данных, т.е. меньше затраты на весь процесс и быстрее можно получить результат, а в иных областях применения это критично.

Так что тут очень зависит от области применения модели. Если в соревнованиях, то там цель другая - выжать из модели чуть лучший скор любой ценой, и там чем больше признаков, тем бывает лучше, но тоже их нужно уметь правильно обрабатывать.

0

Как по мне, на этот вопрос очень тяжело ответить чисто теоретически. Хочется экспериментировать с разными фичами в данных) Возможно, при уменьшении количества признаков, ваше качество возрастет. Для этого можете воспользоваться методом главных компонент (https://habr.com/ru/post/304214/), например. Ссылка на реализацию в sklearn: https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html

Данный подход позволяет уменьшить размерность данных (то есть снизить количество признаков), убрав те, что объясняют наименьшую дисперсию в датасете, то есть по сути самые неинформативные с точки зрения статистики. Порой это дает прирост в качестве, либо немного роняет метрику, но значительно уменьшает количество необходимых данных для обучения/предсказания, что может быть полезно.

Как по мне, xgboost не должен страшится большого количества признаков, на то эта модель и сильна и сложна с точки зрения реализации. Успехов вам!

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.