Зачем сразу нейросети? У вас обычные числовые данные, поэтому надо начинать с линейной регрессии и потом только переходить к более сложным моделям, если качество будет не устраивать. Да и то обычно больше помогает конструирование полезных для модели признаков на основе имеющихся данных, чем просто переход на более сложные модели. Сложные модели склонны к переобучению, особенно если данных немного. А 11000 сэмплов - это совсем не бигдата. Линейные модели зачастую хорошо работают и на миллионах строк данных.
Что касается дополнительных признаков, то в данном случае можно попробовать кластеризацию на широте и долготе с разным числом кластеров, это часто пробуют делать, когда есть данные по широте и долготе.
И да, временные ряды в данном случае совсем не к месту - у вас нет времени в данных. Временные ряды - это когда данные берутся в одних и тех же условиях, но в разные моменты времени и тогда надо учитывать развитие ситуации во времени, это другие подходы и модели.
Посмотрел ваши данные. Да, они совсем не линейные, придётся использовать сложные модели, вы были правы. Но не посмотрев предварительно на данные так говорить нельзя. Да и не факт, что и сложные модели справятся. Я попробовал Random Forest, он хорошо учится на всём массиве данных, но плохо реагирует на кросс-валидацию, значит данные довольно разные в разных частях датасета. Видимо и правда нужно использовать кластеризацию, пробовать PCA и другие техники.
В общем, нужно дальше исследовать данные, к сожалению, сейчас у меня времени нет, если будет ещё актуально, могу вернуться к этому вопросу через пару дней.








В общем, если хорошо перемешать данные, то RF даёт очень даже неплохой скор на мой взгляд.
import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_squared_error
df = pd.read_csv('NormalData.csv', sep=';', usecols=['W_ncep','Lat','Lon','1n','2n','3n','4n','5n'])
# перемешиваем строки данных на скорую руку
ind = df.index.values
np.random.shuffle(ind)
df = df.iloc[ind]
# готовим данные
X = df.drop(columns='W_ncep')
y = df['W_ncep']
# пробуем линейную регрессию
reg = LinearRegression().fit(X, y)
print(np.sqrt(mean_squared_error(y, reg.predict(X))))
# 5.29377282306937 - ну, не очень, да
# пробуем рандом форест
rf = RandomForestRegressor(100, n_jobs=-1)
rf.fit(X, y)
print(np.sqrt(mean_squared_error(y, rf.predict(X))))
# 0.10392955819342073 - отлично, но надо проверить кросс-валидацией
print(np.sqrt(np.negative(cross_val_score(rf, X, y, cv=5, scoring='neg_mean_squared_error', n_jobs=-1))))
# [0.29938888 0.32708244 0.29119675 0.33106258 0.33019189]
print(0.33/df['W_ncep'].mean())
# 0.011000052136926787 - т.е. ошибка порядка 1% в среднем, вроде неплохо
Код собственно простой нейросети на Keras, вход 6 нейронов, скрытый слой 5 нейронов, выходной слой 1 нейрон. Сходится довольно медленно, чуда не происходит. И это ещё без проверки кросс-валидацией, просто обучение:
from keras.models import Sequential
from keras.layers import Dense
model = Sequential()
model.add(Dense(5, kernel_initializer='normal', activation='linear', input_dim=6))
model.add(Dense(1, kernel_initializer='normal', activation='linear'))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(X,y, batch_size=1, epochs=15, shuffle=False)
После 15 эпох MSE = 73.1349, если взять корень, это явно хуже, чем RMSE = 5 даже у линейной регрессии. И дальше сходится ну очень медленно, не думаю, что качество будет хорошее.
Если применить StandardScaler перед обучением нейросети, что обычно рекомендуется, качество становится ближе к качеству линейной регрессии: MSE = 30.
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
X = ss.fit_transform(X)