2

Вопрос следующий: есть различные наборы признаков, на основе которых я строю бейзлайн Лассо. По какой метрике сравнивать модели между собой? Наборы признаков различаются (модели используют разное количество признаков), исходя из этого вроде как неправильно сравнивать их по R2. Так говорит нам Википедия: "Основная проблема применения R^2 заключается в том, что его значение увеличивается от добавления в модель новых переменных, даже если эти переменные никакого отношения к объясняемой переменной не имеют! Поэтому сравнение моделей с разным количеством факторов с помощью коэффициента детерминации, вообще говоря, некорректно. Для этих целей можно использовать альтернативные показатели."

Есть еще Adjusted R2, но допустимо ли его применение для моделей Лассо, где отбор признаков итак произведен? Надеюсь понятно написала, заранее спасибо за ответы

1
  • можете уточнить что значит: "Наборы признаков различаются по длине"? 8 авг 2019 в 11:29

1 ответ 1

2

Если под "Наборы признаков различаются по длине" имеется ввиду, что различается число признаков (число столбцов, а не строк), то можно попробовать использовать метрики, которые обычно используют для оценки регрессионных моделей и которые считают усредненную ошибку:

  • ‘neg_mean_absolute_error’ : metrics.mean_absolute_error
  • ‘neg_mean_squared_error’ : metrics.mean_squared_error
  • ‘neg_mean_squared_log_error’ : metrics.mean_squared_log_error
  • ‘neg_median_absolute_error’ : metrics.median_absolute_error

Действительно R2 метрика в конечном итоге зависит от датасета:

As such variance is dataset dependent, R² may not be meaningfully comparable across different datasets.

...

Note that r2_score calculates unadjusted R² without correcting for bias in sample variance of y.


Вот что пишет Википедия об использовании Adjusted R2:

введите сюда описание изображения

Adjusted R2 can be interpreted as an unbiased (or less biased) estimator of the population R2, whereas the observed sample R2 is a positively biased estimate of the population value.[14] Adjusted R2 is more appropriate when evaluating model fit (the variance in the dependent variable accounted for by the independent variables) and in comparing alternative models in the feature selection stage of model building.

3
  • MaxU, да я действительно имела ввиду число признаков-столбцов. Но вот тут Википедия пишет, далее цитата "Основная проблема применения R^2 заключается в том, что его значение увеличивается от добавления в модель новых переменных, даже если эти переменные никакого отношения к объясняемой переменной не имеют! Поэтому сравнение моделей с разным количеством факторов с помощью коэффициента детерминации, вообще говоря, некорректно. Для этих целей можно использовать альтернативные показатели."
    – MeML
    8 авг 2019 в 12:40
  • А вот про это, что думаешь? "Есть еще Adjusted R2, но допустимо ли его применение для моделей Лассо, где отбор признаков итак произведен?"
    – MeML
    9 авг 2019 в 7:16
  • @MeML, дополнил ответ. Вообще, стоит наверное сравнить использование разных метрик на небольшом датасете... 9 авг 2019 в 7:42

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.