0
from keras.models import Sequential
from keras.layers import Dense
from keras.models import load_model
import h5py
x_train,y_train = np.load('datsx.npy'),np.load('datsy.npy') 
# Среднее значение
mean = x_train.mean(axis=0)
# Стандартное отклонение
std = x_train.std(axis=0)
x_train -= mean
x_train /= std
x_test,y_test = np.load('datsx_test.npy'),np.load('datsy_test.npy')
x_test -= mean
x_test /= std
model = Sequential()
model.add(Dense(128, activation='relu', input_shape=(x_train.shape[1],)))#shape 1
model.add(Dense(100))
model.add(Dense(100))
model.add(Dense(3))
model.compile(optimizer='adam', loss='mse', metrics=['mae'])
model.fit(x_train, y_train, epochs=1000, batch_size=20, verbose=2)

mse, mae = model.evaluate(x_test, y_test, verbose=0)
print("Средняя абсолютная ошибка (тысяч долларов):", mae)
pred = model.predict(x_test)

print("Предсказанная стоимость:", pred, ", правильная стоимость:", y_test)

Я получил:

pred =  [[7.5767965 6.5368557 1.4546983] [7.5767965 6.5368557 1.4546983] [7.5767965 6.5368557 1.4546983] [6.581648 5.627339 1.4382766] [7.5767965 6.5368557 1.4546983] [6.5488234 5.5973387 1.437735 ] [6.615987 5.658723 1.4388433] [7.5767965 6.5368557 1.4546983] [6.7741213 5.8032503 1.4414527] [6.892623 5.911555 1.4434083] [6.6503396 5.6901193 1.4394102] [7.5767965 6.5368557 1.4546983] [7.5767965 6.5368557 1.4546983] [7.5767965 6.5368557 1.4546983]

pred должен быть почти

y_test = [[2., 1., 1.], [0., 2., 2.], [2., 0., 1.], [1., 2., 2.], [2., 0., 1.], [0., 1., 2.], [0., 1., 2.], [2., 1., 1.], [1., 2., 2.], [2., 1., 1.], [2., 1., 1.], [2., 0., 1.], [2., 0., 1.], [0., 2., 2.], [2., 0., 1.], [2., 0., 1.], [1., 2., 2.], [2., 0., 1.], [2., 0., 1.], [1., 2., 2.], [1., 2., 2.], [1., 2., 2.], [1., 3., 2.]]`

Данные для:

x_train,y_train = np.load('datsx.npy'),np.load('datsy.npy')
x_test,y_test = np.load('datsx_test.npy'),np.load('datsy_test.npy')

можно скачать от сюда :https://transfiles.ru/pn2om

8
  • 1
    Приведите ваши данные и задачу
    – dIm0n
    21 авг 2020 в 10:57
  • По ссылке и трейн и тест есть? Как-то отдельно обозначьте в тексте вопроса где брать данные, в комментарии кода не все смотрят. Какое у вас получилось качество напишите, и что именно вас не устраивает.
    – CrazyElf
    21 авг 2020 в 11:04
  • @CrazyElf - все исправил
    – tormozzzz
    21 авг 2020 в 17:07
  • @dIm0n - все исправил
    – tormozzzz
    21 авг 2020 в 17:08
  • @tormozzzz Только завтра смогу данные скачать посмотреть. Вообще навскидку можно попробовать Dropout слоёв добавить, чтобы переобучение понизить
    – CrazyElf
    21 авг 2020 в 17:26

1 ответ 1

2

В общем, я покрутил по-всякому ваши данные и могу вам сказать, что с такими данными не помогут никакие нейросети. В ваших данных просто практически нет зависимости компонент y от компонент x, вот графики (в гриде по вертикали идут по очереди 4 компоненты x, по горизонтали - компоненты y, на самих же графиках снизу x, слева y):

введите сюда описание изображения

Видите - никаких намёков на диагонали в рисунке, т.е. практически нет никакой вообще зависимости y от x ни по одной из компонент. В такой ситуации всё, что можно сделать - это предсказать для каждой компоненты y просто "среднюю температуру по больнице", что в итоге и будет делать любой метод машинного обучения, который вы примените. И я даже могу это показать:

print(np.mean(y_train, axis=0))
array([7.29743973, 6.33168606, 1.43495386])

Видите? Очень похоже на тот прогноз, который получили вы, при том, что я тут просто взял "среднюю температуру по больнице" отдельно для каждой компоненты y. Да, за счёт усложнения модели можно получить чуть-чуть лучшую метрику на тренировочных данных, но не надо себя обманывать - это будет ерунда, а не результат, случайные флуктуации. В ваших данных просто нет сигнала, которому можно научиться, чтобы его предсказывать. Почему так - я не знаю, разбирайтесь с вашими данными.

Вот ещё матрица корреляции, первые 4 компоненты - это компоненты x, последние 3 - компоненты y, и тут опять же видно, что какая-то корреляция есть только у компонент y между собой, а компоненты x не коррелируют вообще ни с чем, кроме самих себя, они не коррелируют даже с другими компонентами x, не говоря уже о корреляции с компонентами y.

введите сюда описание изображения

2
  • интересно почему данные не коррелируют)
    – tormozzzz
    23 авг 2020 в 18:50
  • Ну тут надо разбираться - что за данные, где вы их взяли. Может источник данных неправильный, может обработка кривая, а может и правда данные независимые, что очень странно - обычно скорее проблема бывает в ложных корреляциях, а не в их полном отсутствии
    – CrazyElf
    24 авг 2020 в 5:22

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.