Очень нужна помощь. Есть таблица в excel, в ней данные о заболеваемости по городам и годам, помимо этого есть столбцы с другими характеристиками. Смысл в том, чтобы сгруппировать города согласно этим признакам.
-
1Формулировка вопроса слишком расплывчатая... Что вы ожидаете получить в результате? Знаете ли вы заранее сколько кластеров вы хотите получить? Каков критерий оценки качества кластеризации?– MaxU - stand with UkraineCommented 9 мая 2020 в 9:29
-
в идеале получить кластеры со схожими характеристиками, например, группа городов с высокой заболеваемостью среди детей, с холодным климатом и высоким классом загрязнения воздуха. дело в том, что я не уверена получится ли там в принципе какая-то группировка, поэтому вопрос такой расплывчатый– АннаCommented 9 мая 2020 в 10:14
Добавить комментарий
|
1 ответ
Для начала можно спроецировать данные на двухмерную плоскость используя t-SNE - он хорошо кластеризирует похожие точки. После этого спроецированные данные можно визуализировать:
import pandas as pd
from sklearn.preprocessing import scale
from sklearn.cluster import DBSCAN, AffinityPropagation, Birch
from sklearn.manifold import TSNE
import plotly.express as px
filename = r"D:\download\кластеризация.xlsx"
df = pd.read_excel(filename, index_col=0)
df_scaled = pd.DataFrame(scale(df), index=df.index, columns=df.columns)
df_scaled = df_scaled.drop(columns=["год"])
tsne = TSNE(n_components=2)
res = pd.DataFrame(tsne.fit_transform(df_scaled), columns=list("xy"), index=df_scaled.index)
res["text"] = df.index + " (" + df["год"].astype(str) + ")"
color = df.index.astype("category").codes / df.index.nunique()
fig = px.scatter(res, x="x", y="y", hover_data=["text"], color=color)
fig.write_html(r"c:/temp/res.html")
Кластеризация:
сначала стоит агрегировать данные, так чтобы получилось по одной строке на город:
df_agg = df_scaled.groupby(level=0).mean()
кластеризация:
n_clusters = 6 # ожидаемое число кластеров
def get_cluster_res(model, df, names):
res = pd.DataFrame({"name": names}, index=df.index)
res["cluster"] = model.fit_predict(df)
return res.groupby("cluster")["name"].apply(list).to_dict()
результаты:
KMeans
In [205]: get_cluster_res(KMeans(n_clusters=n_clusters), df_agg, names=df_agg.index)
Out[205]:
{0: ['Краснодар', 'Улан-Удэ', 'Чита'],
1: ['Архангельск',
'Брянск',
'Вологда',
'Ижевск',
'Киров',
'Мурманск',
'Нижний_Новгород',
'Орел',
'Пермь',
'Санкт-Петербург',
'Смоленск',
'Тверь',
'Ульяновск'],
2: ['Астрахань',
'Белгород',
'Владикавказ',
'Волгоград',
'Воронеж',
'Казань',
'Калининград',
'Курск',
'Москва',
'Петропавловск',
'Ростов-на-Дону',
'Самара',
'Саратов',
'Ставрополь',
'Тула',
'Уфа'],
3: ['Барнаул', 'Иркутск', 'Сыктывкар', 'Челябинск'],
4: ['Екатеринбург',
'Кемерово',
'Красноярск',
'Магадан',
'Новосибирск',
'Норильск',
'Омск',
'Хабаровск',
'Южно-Сахалинск'],
5: ['Якутск']}
Birch
In [206]: get_cluster_res(Birch(n_clusters=n_clusters), df_agg, names=df_agg.index)
Out[206]:
{0: ['Астрахань',
'Белгород',
'Брянск',
'Владикавказ',
'Волгоград',
'Воронеж',
'Екатеринбург',
'Казань',
'Калининград',
'Кемерово',
'Красноярск',
'Курск',
'Москва',
'Новосибирск',
'Омск',
'Орел',
'Петропавловск',
'Ростов-на-Дону',
'Самара',
'Саратов',
'Ставрополь',
'Тула',
'Уфа',
'Хабаровск',
'Южно-Сахалинск'],
1: ['Норильск', 'Якутск'],
2: ['Улан-Удэ', 'Чита'],
3: ['Архангельск',
'Барнаул',
'Вологда',
'Ижевск',
'Иркутск',
'Киров',
'Магадан',
'Мурманск',
'Нижний_Новгород',
'Пермь',
'Санкт-Петербург',
'Смоленск',
'Тверь',
'Ульяновск',
'Челябинск'],
4: ['Сыктывкар'],
5: ['Краснодар']}