0

Мне на вход пришли данные с большим количеством пропусков. Пропуски отбросить не получится, так как будет совсем мало данных. Типы данных: числовые и категориальные. Работаю с Python и Pandas.

Подскажите, как заполнить пропуски в данных? Какие стратегии заполнения есть? В каких случаях следует применять какую?

Моя конечная цель — оценить корреляцию переменных (числовых, категориальных) с целевой бинарной переменной.

2 ответа 2

1

Общее замечание

При выборе подхода заполнения пустых значений необходимо учитывать, что с данными будут делать после заполнения. Если планируется считать корреляцию, обязательно посмотрите на основе какой идеи считается корреляция.

Конкретно в этом вопросе

Для числовых типов, вероятно, стоит заполнять пропуски средним, потому что затем будет считаться корреляция бинарной и вещественной переменной, а это делается через разность мат. ожиданий (E[X1|X2=1] - E[X1|X2=0]), то есть важно сохранить мат. ожидание неизменным.

Для категориальных признаков корреляцию с бинарным признаком можно подсчитать с помощью коэффициента V Крамера:

chi2 = stats.chi2_contingency(confusion_matrix)[0]
n = confusion_matrix.sum()
return np.sqrt(chi2 / (n*(min(confusion_matrix.shape)-1)))

То есть на вход подается таблица сопряженности. Если данных достаточно, то я бы исключил все пропуски. Второй подход ввести новую категорию у каждого признака, например, "no_value", но в этом случае она также будет фигурировать в таблице сопряженности.

4
  • 1. Если речь идет о задаче нахождения корреляции двух переменных - вещественной и бинарной, то для вещественных переменных матожидание может сохраниться как через заполнение средними, так и за счет удаления строк. По сложности - проще выкинуть строки, чем считать матожидание. Для многомерных задач заполнение средними заведомо ухудшает результат.
    – passant
    1 янв 2019 в 15:20
  • 2. Для корреляции между бинарными и категориальными признаками обычно используют рангово-бисериальный коэффициент корреляции. И при его применении использования заполнения средним становиться однозначно некорректным.
    – passant
    1 янв 2019 в 15:30
  • 3. Коэффициент Крамера, будучи модификацией коэффициента сопряженности Пирсона, равно как и критерий Чупрова и критерий Романовского используются для обнаружения корреляции признаков, измеренных в номинальных шкалах. Для других случаев используются другие, более статистически мощные критерии.
    – passant
    1 янв 2019 в 15:35
  • @passant Спасибо! Пожалуйста, добавьте комментарии в ответ. Информация очень полезная! 2 янв 2019 в 7:18
0

Не так то много осмысленных вариантов заполнения пропущенных данных существует - случайное заполнение, среднеквадратичное (медианное) заполнение, восстановление данных по закону распределения, попытка построить предикативную модель (в различных модификациях) заполнения.

Беда в том, что какой-бы метод вы не использовали, точность решения вашей основной задачи при этом существенно снизится и главное - не всегда можно оценить, на сколько. При действительно большом количестве пропущенных данных может оказаться более рационально строить менее точную модель по оставшимся после удаления пропущенных значений данным, чем теоретически более точную, но с "восстановленными" значениями.

Вот несколько ссылок, где описываются варианты, в некоторых - с кодами на Python. Может пригодиться.

https://gallery.azure.ai/Experiment/Methods-for-handling-missing-values-1 https://towardsdatascience.com/the-art-of-cleaning-your-data-b713dbd49726 https://towardsdatascience.com/the-tale-of-missing-values-in-python-c96beb0e8a9d https://towardsdatascience.com/working-with-missing-data-in-machine-learning-9c0a430df4ce https://www.analyticsvidhya.com/blog/2016/01/guide-data-exploration/

3
  • Добрый день! Большое спасибо за ответ! Подскажите, пожалуйста, не могли бы вы добавить в ваш ответ самое важное из публикаций по ссылкам? Ссылки имеют тенденцию «затухать». 1 янв 2019 в 13:58
  • 1
    Самое важное, я-так мне кажется-уже указал: во-первых-перечень основных, принципиальных подходов и во-вторых-рассуждения на счет точности, снижающейся при восстановлении пропущенных значений. Все остальное конкретные детали конкретных методов. Можно, конечно, заняться переводом приведенных статей-но не хочется "плагиатить". Можно и свою написать - но качественная статья на эту тему будет точно не в "формуном" формате и точно не "вот прямо сейчас".А вообще-то говоря, восстановление пропущенных значений-большой раздел одного из главных этапов процедуры анализа данных-их подготовка и очистка.
    – passant
    1 янв 2019 в 14:49
  • Спасибо за пояснения! Согласен, тема довольно объемная. 1 янв 2019 в 14:50

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.