Новые ответы с меткой машинное-обучение
2
Решение нашел!
Первая проблема была в функции ошибки. Исправил на 2 * (R - layer.Y)
Вторая проблема в чрезмерно больших числах, которые приходят на вход сигмоиды. Добивил коэфициент, уменьшающий эти значения до нормальных.
Также обнаружил, что смещение (bias) является бесполезным для данной нейронки и убрал его из вычислений.
По итого получилась работающая ...
3
Можно попробовать кластеризовать с помощью алгоритма K-means, но в общем случае делать можно и так:
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.patches as patches
df = pd.read_csv("friquency.csv", index_col=[0,1])
res = df.rolling(5).mean().fillna(0) # скользящее окно, размер нужно подбирать
...
2
Ваш датасет мне не доступен, поэтому опишу, как я представляю решение вашей задачи.
У вас "Нормальное" состояние - это нулевые значения измеряемого параметра. Ваши "кластеры" - это некие выбросы. Можно было бы просто считать отдельным кластером то, что отлично от 0. Проблема усложняется тем, что у вас вутри кластера тоже могут быть ...
0
Есть такая библиотека pmdarima. А в ней есть функция auto_arima - как раз для вашего случая. Перебор различных (из заданных диапазонов) значений всех коэффициентов SARIMA (и трендовых и сезонных) и поиск среди них такого набора, который дает минимизацию ошибки. Рекомендую попробовать. По крайней мере, не надо самому циклы гонять.
2
Обнаружение выбросов/аномалий может быть самостоятельной задачей. Например, вы хотите выявить неправильную работу оборудования/датчиков (в нештатном режиме), или хакерские атаки, или какие-то некорректные данные (чтобы дополнительно проанализировать что с ними не так) или, скажем, погодные аномалии... Применений можно много придумать. А вообще это называется ...
0
Это две метрики для выбора способа разбить дерево. Измерение индекса Джини - это вероятность того, что случайная выборка будет классифицирована неправильно, если мы случайным образом выберем класс в соответствии с распределением в ветке дерева.
Энтропия - это мера информации (точнее ее отсутствия). Вы рассчитываете прирост информации, делая разбиение. В этом ...
2
Вариант 1: воспользуйтесь pd.get_dummies():
res = a.join(pd.get_dummies(a["b"]))
Вариант 2:
res = pd.get_dummies(a, prefix="", prefix_sep="", columns=["b"])
Вариант 3: sklearn.preprocessing.LabelBinarizer
from sklearn.preprocessing import LabelBinarizer
lb = LabelBinarizer()
res = a.join(pd.DataFrame(lb....
3
Построить сглаженную кривую по фактическим данным очень просто:
ax = chi['new_cases'].plot(grid=True, figsize=(12, 6))
chi['new_cases'].rolling(15, center=True).mean().plot(grid=True, ax=ax, linewidth=2)
Для того, чтобы попытаться спрогнозировать число новых заразившихся COVID-19, нужно учитывать очень много факторов. Вот лишь некоторые из них:
сезонность ...
2
Вам нужно сначала имопртировать
from matplotlib import cm
а потом, вместо,
cmap=plt.get_map("jet")
использовать
cmap=plt.cm.get_cmap("jet")
0
А вам поставлена учебная задача использовать именно keras? Потому как в
sklearn есть чудненькая функция MultiOutputRegressorдля построения именно многоцелевой регрессии. С автоматическим определением функции детерминации в качестве метрики.
2
Вместо монстрообразной и медленной (невекторизированной) функции calculate_means(), которая к тому же молча изменяет данные в переданном ей фрейме, можно воспользоваться простым векторизированным решением:
In [148]: df = pd.DataFrame({"a":[1, 2 ,np.nan], "b":[1,2,3]})
In [149]: df
Out[149]:
a b
0 1.0 1
1 2.0 2
2 NaN 3
In [...
2
Если добавить в той строке на которую ругается .values, то перестаёт ругаться и вроде работает:
indices = np.nonzero(~numeric_data.iloc[:,j].isnull().values)[0]
^^^^^^^
Природу сего явления объяснить не могу, видимо, какое-то недопонимание между данными Pandas.Series и функцией Numpy.
2
pd.read_csv() умеет парсить данные по URL:
from urllib.parse import urljoin
url = urljoin(DOWNLOAD_ROOT, "datasets/housing/housing.csv")
df = pd.read_csv(url)
результат:
In [104]: df
Out[104]:
longitude latitude housing_median_age total_rooms total_bedrooms population households median_income median_house_value ocean_proximity
0 ...
1
Формула для расчета количества обучаемых параметров модели:
sum([p.numel() for p in model.parameters() if p.requires_grad])
1
Скорее всего с регулярками будет проще сделать. Либо с NER, например из библиотеки Natasha. Когда вы осознаете все сложности, с которыми вам придётся столкнуться при попытке решения этой задачи методами машинного обучения, вы поймёте, что это как-раз машинное обучение тут "из пушки по воробьям", а не наоборот.
Если машинное обучение использовать ...
1
Это похоже на набор фичей для аудио GeMAPS. Он достаточно распостранён и можно найти готовые решения, которые сгенерируют все 13 значений.
Например, можно поставить библиотеку opensmile и получить фичи для аудиофайла:
import opensmile
smile = opensmile.Smile(
feature_set=opensmile.FeatureSet.GeMAPS,
feature_level=opensmile.FeatureLevel.Functionals,
)...
50 лучших ответов включены
Связанные метки
машинное-обучение × 683python × 451
нейронные-сети × 229
python-3.x × 111
scikit-learn × 106
keras × 101
pandas × 72
tensorflow × 70
numpy × 58
dataframe × 33
классификация × 28
искусственный-интеллект × 27
алгоритм × 24
opencv × 24
анализ-данных × 15
математика × 13
pytorch × 13
статистика × 12
big-data × 12
nlp × 12
c++ × 11
java × 10
распознавание-образов × 10
kaggle × 10
xgboost × 9