0

Очень нужна помощь. Есть таблица в excel, в ней данные о заболеваемости по городам и годам, помимо этого есть столбцы с другими характеристиками. Смысл в том, чтобы сгруппировать города согласно этим признакам.

2
  • 1
    Формулировка вопроса слишком расплывчатая... Что вы ожидаете получить в результате? Знаете ли вы заранее сколько кластеров вы хотите получить? Каков критерий оценки качества кластеризации? Commented 9 мая 2020 в 9:29
  • в идеале получить кластеры со схожими характеристиками, например, группа городов с высокой заболеваемостью среди детей, с холодным климатом и высоким классом загрязнения воздуха. дело в том, что я не уверена получится ли там в принципе какая-то группировка, поэтому вопрос такой расплывчатый
    – Анна
    Commented 9 мая 2020 в 10:14

1 ответ 1

2

Для начала можно спроецировать данные на двухмерную плоскость используя t-SNE - он хорошо кластеризирует похожие точки. После этого спроецированные данные можно визуализировать:

import pandas as pd
from sklearn.preprocessing import scale
from sklearn.cluster import DBSCAN, AffinityPropagation, Birch
from sklearn.manifold import TSNE
import plotly.express as px


filename = r"D:\download\кластеризация.xlsx"
df = pd.read_excel(filename, index_col=0)

df_scaled = pd.DataFrame(scale(df), index=df.index, columns=df.columns)
df_scaled = df_scaled.drop(columns=["год"])

tsne = TSNE(n_components=2)

res = pd.DataFrame(tsne.fit_transform(df_scaled), columns=list("xy"), index=df_scaled.index)
res["text"] = df.index + " (" + df["год"].astype(str) + ")"
color = df.index.astype("category").codes / df.index.nunique()
fig = px.scatter(res, x="x", y="y", hover_data=["text"], color=color)
fig.write_html(r"c:/temp/res.html")

результат визуализации

Кластеризация:

сначала стоит агрегировать данные, так чтобы получилось по одной строке на город:

df_agg = df_scaled.groupby(level=0).mean()

кластеризация:

n_clusters = 6  # ожидаемое число кластеров

def get_cluster_res(model, df, names):
    res = pd.DataFrame({"name": names}, index=df.index)
    res["cluster"] = model.fit_predict(df)
    return res.groupby("cluster")["name"].apply(list).to_dict()

результаты:

KMeans

In [205]: get_cluster_res(KMeans(n_clusters=n_clusters), df_agg, names=df_agg.index)
Out[205]:
{0: ['Краснодар', 'Улан-Удэ', 'Чита'],
 1: ['Архангельск',
  'Брянск',
  'Вологда',
  'Ижевск',
  'Киров',
  'Мурманск',
  'Нижний_Новгород',
  'Орел',
  'Пермь',
  'Санкт-Петербург',
  'Смоленск',
  'Тверь',
  'Ульяновск'],
 2: ['Астрахань',
  'Белгород',
  'Владикавказ',
  'Волгоград',
  'Воронеж',
  'Казань',
  'Калининград',
  'Курск',
  'Москва',
  'Петропавловск',
  'Ростов-на-Дону',
  'Самара',
  'Саратов',
  'Ставрополь',
  'Тула',
  'Уфа'],
 3: ['Барнаул', 'Иркутск', 'Сыктывкар', 'Челябинск'],
 4: ['Екатеринбург',
  'Кемерово',
  'Красноярск',
  'Магадан',
  'Новосибирск',
  'Норильск',
  'Омск',
  'Хабаровск',
  'Южно-Сахалинск'],
 5: ['Якутск']}

Birch

In [206]: get_cluster_res(Birch(n_clusters=n_clusters), df_agg, names=df_agg.index)
Out[206]:
{0: ['Астрахань',
  'Белгород',
  'Брянск',
  'Владикавказ',
  'Волгоград',
  'Воронеж',
  'Екатеринбург',
  'Казань',
  'Калининград',
  'Кемерово',
  'Красноярск',
  'Курск',
  'Москва',
  'Новосибирск',
  'Омск',
  'Орел',
  'Петропавловск',
  'Ростов-на-Дону',
  'Самара',
  'Саратов',
  'Ставрополь',
  'Тула',
  'Уфа',
  'Хабаровск',
  'Южно-Сахалинск'],
 1: ['Норильск', 'Якутск'],
 2: ['Улан-Удэ', 'Чита'],
 3: ['Архангельск',
  'Барнаул',
  'Вологда',
  'Ижевск',
  'Иркутск',
  'Киров',
  'Магадан',
  'Мурманск',
  'Нижний_Новгород',
  'Пермь',
  'Санкт-Петербург',
  'Смоленск',
  'Тверь',
  'Ульяновск',
  'Челябинск'],
 4: ['Сыктывкар'],
 5: ['Краснодар']}

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.