1

Сейчас прохожу курс обучения sklearn и уже слегка разобрался с ней. И сегодня узнаю, что существует xgboost! По разным статьям в хабре и на англоязычных источниках все только и говорят, что xgboost:

  • быстрее
  • более лучшие результаты выдаёт
  • и вообще лидирует на Kaggle по всем фронтам...

Посмотрев несколько примеров кода и ознакомившись с официальной документацией xgboost, увидел, что его можно использовать и как обёртку sklearn, и самостоятельно (она имеет собственные классы и методы обучения, предсказания, валидации и прочих нужных вещей).

Вопрос: sklearn - уже уходит в прошлое, или он имеет то, чего нет у xgboost? И зачем вообще оборачивать, если xgboost сам всё может? Я слишком слаб в этом, а понимать, как всё устроено, и отказываться от обучения устаревающих библиотек - это очень важно!

1
  • 2
    XGBoost - это библиотека вокруг одного-единственного метода, метода градиентного бустинга (пусть и модифицированного). scikit-learn - это библиотека многих разных методов для разных проблем, от линейной регрессии до больцманновых машин. Есть совет оставить пока XGBoost в покое и изучать азы; когда разберешься в деревьях решений и случайных лесах и самом бустинге, тогда можно и с XGBoost повозиться.
    – hoefling
    8 июл 2019 в 9:28

1 ответ 1

3

Это немного разные вещи.

Scikit-learn это целый тулбокс, с кучей разных алгоритмов классификации, регрессии, кластеризации и проч, плюс с функциями для подготовки данных, обучения и тестирования моделей, и при этом с стандартизированным апи.

А XGBoost - это библиотека, хорошо реализующая конкретный алгоритм - градиентный бустинг на деревьях решений(один из существующих в scikit-learn).

Так что scikit-learn это хороший старт для экспериментов, когда можно подготовить данные, проверить несколько алгоритмов. И его сфера применения куда шире чем xgboost. А когда нужно выжать максимум для конкретной задачи, то уже использовать xgboost.

Зачем оборачивать - чтобы можно было использовать с xgboost'ом методы из scikit, например подгонку параметров или настакать несколько моделей. Или чтобы легко заменить одну из моделей scikit-learn в уже существующем коде

1

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.