0

Есть 11000 строк данных, выглядят они так:

InputData

Столбец 1n-29n - это данные, полученные с КА в точке Lat Lon.

Столбец W-ncep-это значение, получаемое в зависимости от данных в столбцах 1n-29n.

Пожалуйста, помогите мне выбрать архитектуру нейронной сети, и если есть примеры решения таких задач в машинном обучении (я не смог найти их в Google) пожалуйста угостите ссылочкой.

Ссылка на исходные данные:

https://drive.google.com/file/d/1zOXjHv_cebfDI5Nk1qjiT2qdsxRn_f_r/view?usp=sharing

17
  • Могу добавить код выборки данных с помощью pandas и тд.., но это вроде для данного вопроса не нужно.
    – Denis
    14 окт 2020 в 3:14
  • 1
    Какой именно столбец вы предсказываете - W-ncep?
    – CrazyElf
    14 окт 2020 в 5:48
  • 1
    А что значит «КА»? 14 окт 2020 в 5:50
  • Лучше добавьте хотя бы кусочек самих данных в текстовом виде. Ну или код, если с помощью кода можно получить откуда-то данные.
    – CrazyElf
    14 окт 2020 в 5:53
  • 1
    @MaxU Есть спутниковый снимок (если брать в частном случае - точка). У точки есть координата, и значение с 5 каналов спутникового датчика. Есть программа рассчитывающая водозапас в каждой точке спутникового снимка, выдаёт эта программа W_ncep. Тобишь при значениях этих 5 каналов, она считает W_ncep.
    – Denis
    14 окт 2020 в 6:12

1 ответ 1

6

Зачем сразу нейросети? У вас обычные числовые данные, поэтому надо начинать с линейной регрессии и потом только переходить к более сложным моделям, если качество будет не устраивать. Да и то обычно больше помогает конструирование полезных для модели признаков на основе имеющихся данных, чем просто переход на более сложные модели. Сложные модели склонны к переобучению, особенно если данных немного. А 11000 сэмплов - это совсем не бигдата. Линейные модели зачастую хорошо работают и на миллионах строк данных.

Что касается дополнительных признаков, то в данном случае можно попробовать кластеризацию на широте и долготе с разным числом кластеров, это часто пробуют делать, когда есть данные по широте и долготе.

И да, временные ряды в данном случае совсем не к месту - у вас нет времени в данных. Временные ряды - это когда данные берутся в одних и тех же условиях, но в разные моменты времени и тогда надо учитывать развитие ситуации во времени, это другие подходы и модели.

Посмотрел ваши данные. Да, они совсем не линейные, придётся использовать сложные модели, вы были правы. Но не посмотрев предварительно на данные так говорить нельзя. Да и не факт, что и сложные модели справятся. Я попробовал Random Forest, он хорошо учится на всём массиве данных, но плохо реагирует на кросс-валидацию, значит данные довольно разные в разных частях датасета. Видимо и правда нужно использовать кластеризацию, пробовать PCA и другие техники.

В общем, нужно дальше исследовать данные, к сожалению, сейчас у меня времени нет, если будет ещё актуально, могу вернуться к этому вопросу через пару дней.

W_ncep

Lat

Lon

1n

2n

3n

4n

5n

В общем, если хорошо перемешать данные, то RF даёт очень даже неплохой скор на мой взгляд.

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_squared_error

df = pd.read_csv('NormalData.csv', sep=';', usecols=['W_ncep','Lat','Lon','1n','2n','3n','4n','5n'])

# перемешиваем строки данных на скорую руку
ind = df.index.values
np.random.shuffle(ind)
df = df.iloc[ind]

# готовим данные
X = df.drop(columns='W_ncep')
y = df['W_ncep']

# пробуем линейную регрессию
reg = LinearRegression().fit(X, y)
print(np.sqrt(mean_squared_error(y, reg.predict(X))))

# 5.29377282306937 - ну, не очень, да

# пробуем рандом форест
rf = RandomForestRegressor(100, n_jobs=-1)
rf.fit(X, y)
print(np.sqrt(mean_squared_error(y, rf.predict(X))))

# 0.10392955819342073 - отлично, но надо проверить кросс-валидацией

print(np.sqrt(np.negative(cross_val_score(rf, X, y, cv=5, scoring='neg_mean_squared_error', n_jobs=-1))))

# [0.29938888 0.32708244 0.29119675 0.33106258 0.33019189]

print(0.33/df['W_ncep'].mean())

# 0.011000052136926787 - т.е. ошибка порядка 1% в среднем, вроде неплохо

Код собственно простой нейросети на Keras, вход 6 нейронов, скрытый слой 5 нейронов, выходной слой 1 нейрон. Сходится довольно медленно, чуда не происходит. И это ещё без проверки кросс-валидацией, просто обучение:

from keras.models import Sequential
from keras.layers import Dense

model = Sequential()
model.add(Dense(5, kernel_initializer='normal', activation='linear', input_dim=6))
model.add(Dense(1, kernel_initializer='normal', activation='linear'))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(X,y, batch_size=1, epochs=15, shuffle=False)

После 15 эпох MSE = 73.1349, если взять корень, это явно хуже, чем RMSE = 5 даже у линейной регрессии. И дальше сходится ну очень медленно, не думаю, что качество будет хорошее.

Если применить StandardScaler перед обучением нейросети, что обычно рекомендуется, качество становится ближе к качеству линейной регрессии: MSE = 30.

from sklearn.preprocessing import StandardScaler

ss = StandardScaler()
X = ss.fit_transform(X)
18
  • 3
    Согласен, 11000 сэмплов - маловато для нейросети. 14 окт 2020 в 5:56
  • Идея в том, чтобы получить максимальную точность, и выборка в 11 тысяч данных не конечная, всего их 46 тысяч
    – Denis
    14 окт 2020 в 5:59
  • Ну можно сравнить решение линейной регрессии, и работу нейронной сети.
    – Denis
    14 окт 2020 в 6:01
  • 1
    @Denis Нейросеть - это не всегда лучшее решение. Как по скорости (однозначно), так и по точности (it depends)
    – CrazyElf
    14 окт 2020 в 6:08
  • @Denis Не можно, а нужно. Начинать надо всегда с простых моделей. Сначала "know your data", а потом уже от простых моделей к сложным. Сначала смотрят корреляции, строят всякие графики на данных, а потом уже пробуют всякое.
    – CrazyElf
    14 окт 2020 в 6:09

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.