Всем доброго времени суток!
Хочу поделиться своим практическим решением данной задачи целиком.
*Task 4:
-Выделите из поля tr_datetime относительный день tr_day (первое число до точного времени).
-Отфильтруйте строки таким образом, чтобы оставить только те транзакции, у которых в соответствующий относительный день tr_day количество уникальных MCC кодов при транзакциях было больше 75 (можно воспользоваться функцией nunique())
-Сгруппируйте полученный отфильтрованный датафрейм по MCC коду и полу, после чего, пронализировав результат, выберите верные варианты ответов ниже:
- gender == 0 - женщины, gender == 1 - мужчины
- gender == 1 - женщины, gender == 0 - мужчины
- Абсолютное значение медианы с типом "Флористика" (расходов/приходов) у мужчин выше той же медианы у женщин
- Абсолютное значение медианы женских трат (расходов/приходов) на ценные бумаги выше мужских
- Абсолютное значение медианы женских трат (расходов/приходов) в категории "Бары, коктейль-бары, дискотеки, ночные клубы и таверны — места продажи алкогольных напитков" ниже мужских
Пояснения:
-Для того, чтобы выделить всё, что стоит до первого пробела, можо использовать строковые методы для датафрейма - .str.split(), например. Либо же реализовывать логику выделения подстроки с помощью метода apply.
-Понять, какой класс к какому типу транзакций (мужские/женские) относится можно, если поизучать типичные для мужчин/женщин категории и сравнить средние/медианы расходов и/или приходов в них.*
Дилетантским, конечно, способом, но давшим правильный ответ:)
(Я начал изучать Питон и решал эту задачу в рамках курса "Python для анализа данных", Сберуниверситет. На ней очень сильно споткнулся...)
`import pandas as pd
import numpy as np
pd.options.display.max_rows = 10`
#закачиваем данные из файлов (сами файлы не привожу, считаю, что они у вас есть)
`customers_gender_train = pd.read_csv("Python And Data Analysis/data/gender_train.csv", sep = ',')
tr_types = pd.read_csv("Python And Data Analysis/data/tr_types.csv",
sep = ';')
tr_mcc_codes = pd.read_csv("Python And Data Analysis/data/tr_mcc_codes.csv",
sep = ';')
transactions = pd.read_csv("Python And Data Analysis/data/transactions.csv",
sep = ',', nrows = 1000000)`
#осуществляем необходимые слияния таблиц (Task 0):
`t = pd.merge(transactions,tr_mcc_codes)
t1 = pd.merge(t,tr_types)
t2 = pd.merge(t1, customers_gender_train, how='left')
t2 #смотрим, что получилось`
#Собственно, решение:
#разбиваем дату-время на отдельные колонки (отделяя их в новую табличку):
`new_t2 = t2['tr_datetime'].str.split(' ',expand=True)
new_t2.columns=['tr_day','tr_time'] #даем колонкам нужные названия
new_t2['tr_day'] = pd.to_numeric(new_t2.tr_day) #делаем колонку tr_day числовой
t2 = pd.concat([t2,new_t2],axis=1) #сливаемся с основной таблицей
t2 #смотрим, что получилось`
#осуществляем необходимую фильтрацию:
g2 = t2.groupby(['tr_day'])
#здесь ТОЛЬКО группируем (разбиваем исходный фрейм на группы; с 'mcc_code' пока ничего не делаем! считать (ПРИМЕНЯТЬ ФУНКЦИЮ) будем потом!
t22 = g2.filter(lambda x: x['mcc_code'].nunique() > 75) #СОЛЬ ЗДЕСЬ!!! :)
#ну а теперь фильтруем ИСХОДНЫЙ фрейм
t2 - ПРИМЕНЯЕМ ФУНКЦИЮ к каждой группе
#- Function to apply to each subframe. Should return True or False. (из pandas.pydata.org - DataFrameGroupBy.filter)
t22 #смотрим, что получилось
#изучаем вручную (в отдельной табличке) мужские и женские mcc_code:
`pd.options.display.max_rows = 1000
t222 = t22.copy()
t222.sort_values(by=['mcc_code','gender'], inplace=True)
t222["abs_amount"] = abs(t222.amount) #абс. значение суммы, т.е. не важно тратили или получали деньги
t222.groupby(['mcc_description','gender']).abs_amount.median() `
#определение пола: 1-мужики (мото,горючее,спирт,дороги...)
#0-дамы (секонд, бакалея, ж.одежда...)
#находим ответы на вопросы 3-5:
`pd.options.display.max_rows = 10
t222[t222["mcc_description"].str.contains("Флористика")].groupby(['gender']).amount.median() #3`
gender
0.0 -12352.54
1.0 -19090.28
#ДА - 3) Абсолютное значение медианы с типом "Флористика" (расходов/приходов) у мужчин выше той же медианы у женщин
t222[t222["mcc_description"].str.contains("Ценные бумаги")].groupby(['gender']).amount.median() #4
gender
0.0 -6737.75
1.0 -11229.58
#НЕТ - 4) Абсолютное значение медианы женских трат (расходов/приходов) на ценные бумаги выше мужских (Ценные бумаги: брокеры/дилеры)
t222[t222["mcc_description"].str.contains("коктейль-бары")].groupby(['gender']).amount.median() #5
gender
0.0 -9387.93
1.0 -12667.86
#ДА - 5) Абсолютное значение медианы женских трат (расходов/приходов) в категории "Бары, коктейль-бары, дискотеки,
#ночные клубы и таверны — места продажи алкогольных напитков" ниже мужски