1

очень нужна помощь. Есть таблица в exel, в ней данные о заболеваемости по городам и годам, помимо этого есть столбцы с другими характеристиками. Смысл в том, чтобы сгруппировать города согласно этим признакам.

2
  • Формулировка вопроса слишком расплывчатая... Что вы ожидаете получить в результате? Знаете ли вы заранее сколько кластеров вы хотите получить? Каков критерий оценки качества кластеризации? 9 мая 2020 в 9:29
  • в идеале получить кластеры со схожими характеристиками, например, группа городов с высокой заболеваемостью среди детей, с холодным климатом и высоким классом загрязнения воздуха. дело в том, что я не уверена получится ли там в принципе какая-то группировка, поэтому вопрос такой расплывчатый
    – Анна
    9 мая 2020 в 10:14

1 ответ 1

2

Для начала можно спроецировать данные на двухмерную плоскость используя t-SNE - он хорошо кластеризирует похожие точки. После этого спроецированные данные можно визуализировать:

import pandas as pd
from sklearn.preprocessing import scale
from sklearn.cluster import DBSCAN, AffinityPropagation, Birch
from sklearn.manifold import TSNE
import plotly.express as px


filename = r"D:\download\кластеризация.xlsx"
df = pd.read_excel(filename, index_col=0)

df_scaled = pd.DataFrame(scale(df), index=df.index, columns=df.columns)
df_scaled = df_scaled.drop(columns=["год"])

tsne = TSNE(n_components=2)

res = pd.DataFrame(tsne.fit_transform(df_scaled), columns=list("xy"), index=df_scaled.index)
res["text"] = df.index + " (" + df["год"].astype(str) + ")"
color = df.index.astype("category").codes / df.index.nunique()
fig = px.scatter(res, x="x", y="y", hover_data=["text"], color=color)
fig.write_html(r"c:/temp/res.html")

результат визуализации

Кластеризация:

сначала стоит агрегировать данные, так чтобы получилось по одной строке на город:

df_agg = df_scaled.groupby(level=0).mean()

кластеризация:

n_clusters = 6  # ожидаемое число кластеров

def get_cluster_res(model, df, names):
    res = pd.DataFrame({"name": names}, index=df.index)
    res["cluster"] = model.fit_predict(df)
    return res.groupby("cluster")["name"].apply(list).to_dict()

результаты:

KMeans

In [205]: get_cluster_res(KMeans(n_clusters=n_clusters), df_agg, names=df_agg.index)
Out[205]:
{0: ['Краснодар', 'Улан-Удэ', 'Чита'],
 1: ['Архангельск',
  'Брянск',
  'Вологда',
  'Ижевск',
  'Киров',
  'Мурманск',
  'Нижний_Новгород',
  'Орел',
  'Пермь',
  'Санкт-Петербург',
  'Смоленск',
  'Тверь',
  'Ульяновск'],
 2: ['Астрахань',
  'Белгород',
  'Владикавказ',
  'Волгоград',
  'Воронеж',
  'Казань',
  'Калининград',
  'Курск',
  'Москва',
  'Петропавловск',
  'Ростов-на-Дону',
  'Самара',
  'Саратов',
  'Ставрополь',
  'Тула',
  'Уфа'],
 3: ['Барнаул', 'Иркутск', 'Сыктывкар', 'Челябинск'],
 4: ['Екатеринбург',
  'Кемерово',
  'Красноярск',
  'Магадан',
  'Новосибирск',
  'Норильск',
  'Омск',
  'Хабаровск',
  'Южно-Сахалинск'],
 5: ['Якутск']}

Birch

In [206]: get_cluster_res(Birch(n_clusters=n_clusters), df_agg, names=df_agg.index)
Out[206]:
{0: ['Астрахань',
  'Белгород',
  'Брянск',
  'Владикавказ',
  'Волгоград',
  'Воронеж',
  'Екатеринбург',
  'Казань',
  'Калининград',
  'Кемерово',
  'Красноярск',
  'Курск',
  'Москва',
  'Новосибирск',
  'Омск',
  'Орел',
  'Петропавловск',
  'Ростов-на-Дону',
  'Самара',
  'Саратов',
  'Ставрополь',
  'Тула',
  'Уфа',
  'Хабаровск',
  'Южно-Сахалинск'],
 1: ['Норильск', 'Якутск'],
 2: ['Улан-Удэ', 'Чита'],
 3: ['Архангельск',
  'Барнаул',
  'Вологда',
  'Ижевск',
  'Иркутск',
  'Киров',
  'Магадан',
  'Мурманск',
  'Нижний_Новгород',
  'Пермь',
  'Санкт-Петербург',
  'Смоленск',
  'Тверь',
  'Ульяновск',
  'Челябинск'],
 4: ['Сыктывкар'],
 5: ['Краснодар']}

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.