Вопросы с меткой [машинное-обучение]

Машинное обучение посвящено разработке самообучающихся алгоритмов, основывающихся на выявлении закономерностей в данных, и использовании их для принятия решений.

Фильтрация
Сортировка
Метки
1 голос
0 ответов
13 показов

Как определить морфологию слова исключительно по контексту?

Существует стандартный метод определения морфологии (pos-tagging), на основе lstm, которому на вход передается: seq: [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] # vocab idx out: [0, 0, 1, 2, 0, 1, 3, 2, 0, 1] #...
Lecron's user avatar
  • 1,448
0 голосов
0 ответов
7 показов

Использование ResNet для извлечения уникальных признаков изображения

Пишу курсовую работу по разработки прототипа системы биометрической аутентификации на основе фото лица. Дошел до крайнего этапа, а именно написание кода, однако мои познания в области машинного ...
George's user avatar
  • 1
0 голосов
0 ответов
13 показов

Проблема сериализации объектов питона pytorch save/load

Обучил сетку. сохраняю веса torch.save( model.state_dict(),'/path/to/mydoc/model_w.pt' ) Все это происходит в гугл колабе. Если загружать с помощью torch.load в гугл колаб, то проблем нет. Веса ...
SàshàRozinov's user avatar
0 голосов
0 ответов
13 показов

Ошибка ValueError: Cannot reshape a tensor with 26912 elements to shape [1,30,30,32] (28800 elements) for '{{node Reshape_6}} = Reshape[T=DT_FLOAT,

Пытаюсь запустить сеть. Получил сигнатурные матрицы: series_number is 30 series_length is 20000 signature_matrices_number is 2000 the shape of signature_matrices is (3, 2000, 30, 30) train dataset ...
Arno Kollins's user avatar
-1 голос
0 ответов
39 показов

Как работает трехслойная нейронная сеть? [закрыт]

Вопрос по этому видео - https://www.youtube.com/watch?v=AZG0j0pNY-4&list=PLsQAG1V_t58AmRRhu-UUKvDSy-gY3Vmdh. В конце видео, где автор приводит пример трехуровневой нейронной сети, в методе predict ...
Outsider's user avatar
0 голосов
0 ответов
29 показов

Как я могу повысить точность и уменьшить loss моей нейронной сети Keras/Tensorflow при обучении на наборе данных MNIST с кириллическими буквами?

Когда я запускаю обучение модели, я получаю высокий loss и низкий val_accuracy Я использую dataset Кириллицы MNIST import tensorflow as tf from keras import layers, models, optimizers from keras....
Алексей Бобров's user avatar
0 голосов
0 ответов
18 показов

Как хранить состояния в таблице Q при обучении с подкреплением Q-learning?

Для модели обучения с подкреплением есть таблица Q из n_states (число состояний) строк и n_action (число действий) столбцов. Как я поняла, выбор действия происходит следующим образом: epsilon = 0.9 # ...
Маша's user avatar
1 голос
1 ответ
33 показа

Двоичная классификация текста

Помогите разобраться или направьте в нужное русло. Есть 100.000 строк со словом вилка. Вилка разная бывает. Столовый прибор Вилка в спортивных ставках Велосипедная вилка Вилка цен Вилка в розетку и т....
Xzizz's user avatar
  • 1,494
0 голосов
1 ответ
52 показа

Методы для NLP, удаления знаков препинания

Можете помочь и отправить свои методы для лемматизация, токенизации, определения частей речи, удаления знаков препинания, удаления не букв.
Shemen's user avatar
  • 13
0 голосов
0 ответов
9 показов

deeppavlov 'Chainer' object has no attribute 'get'

скачал конфиг модели из репозитория deeppavlolv , казалось бы. model = build_model(model_config, download=True) модель сбилдилась, но почему-то faq = train_model(model) выдает ошибку'Chainer' ...
SàshàRozinov's user avatar
4 голоса
1 ответ
61 показ

При обучении нейросети получаются огромные числа, который python воспринимает как null, inf и не может продолжать вычисления

обучаю нейросеть определять цифры на изображениях 24*24 px. Принципиальное условие: не использовать библиотеки tensorflow, keras... По мере того, как выполняется код, в промежуточных слоях нейросети ...
Кирилл М.'s user avatar
0 голосов
0 ответов
21 показ

Как решается задача квадратичного программирования?

Я пытаюсь понять метод опорных векторов при линейно неразделимой выборке. Нашел информацию, что задача метода опорных векторов эквивалентна двойственной задаче поиска седловой точки функции Лагранжа. ...
 Bonifacy's user avatar
0 голосов
0 ответов
63 показа

Помогите написать метод множественной классификации k-nearest neighbours python (KNN)

У меня тренировочная задача реализовать классификатор на основе метода K-ближайших соседей. Мы применим его к задачам бинарной классификации (два класса) и многоклассовой классификации (несколько ...
Blbrd173512's user avatar
0 голосов
0 ответов
18 показов

Ошибка при использовании optuna при подборе гиперпараметров

def objective(trial,data = X,target = y): param = { 'n_estimators': 5000, 'reg_alpha': trial.suggest_float('reg_alpha', 1e-3, 5.0), 'reg_lambda': trial.suggest_float('...
Andrey B's user avatar
0 голосов
0 ответов
20 показов

Нужен совет какой подход использовать ML (NLP)

Имеется датасет на 1500 записей, 40 классов, не очень то уж и сбалансированный. для обучения использовал sklearn модели, и они давали результат +- 0.85acc. текс разбивал на токены, убирал стоп слова ...
SàshàRozinov's user avatar
0 голосов
0 ответов
40 показов

Какую модель использовать для предсказания расхода деталей?

У меня есть данные для 500 деталей в виде: Задача по ним предсказать расход на 2024 (соотвественно обучить модель на прошлых годах). Я делаю Label Encoder для групп и для названий деталей. На вход ...
Donny_darko's user avatar
1 голос
0 ответов
53 показа

Как написать функции для DataFrame, которая будет заполнять пропуски в столбцах, при этом используя данные других столбцов? Python, pandas

Пытался написать функцию для обработки датасета (для последующего использования в машинном обучении). В процессе подготовки данных столкнулся с тем, что по некоторым важным параметрам отсутствует ...
Step1709's user avatar
  • 896
0 голосов
0 ответов
20 показов

Как извлечь кусок из текста по названию пункта

Решаю такую задачу У меня есть большой тренировочный набор данных, где содержится: ID документа Текст документа А так же, название оного из двух пунктов, к которому он относится: "обеспечение ...
Vladimir Chumak's user avatar
0 голосов
0 ответов
14 показов

Как определить, к какому тегу относится текст?

У меня есть список тегов, например "C++", "Природа", "Еда", "Архитектура", "Писательство", "Автомобилестроение". Как определить с помощью ...
user avatar
0 голосов
0 ответов
148 показов

Почему происходит ошибка "got an unexpected keyword argument" при использовании параметра min_frequency в OneHotEncoder?

Пытаюсь в OneHotEncoder использовать параметр min_frequency, что бы при кодировке сгруппировать редкие категории, так как данных очень много, но получаю ошибку: TypeError: __init__() got an unexpected ...
Алёна Алёхина's user avatar
0 голосов
0 ответов
27 показов

Как корректно сделать выборку данных?

Написал я следующий код: import pandas as pd california_train = pd.read_csv('/content/sample_data/california_housing_test.csv') california_test = pd.read_csv('/content/sample_data/...
Kir's user avatar
  • 1
0 голосов
0 ответов
44 показа

Как заставить ruGPT-3 исправлять опечатки в тексте?

Я хочу попробовать заставить языковую модель ruGPT-3 исправлять опечатки в тексте. Может быть, кто-то уже пытался это сделать? Какие «затравки» использовали? Работало без дообучения? Я пробовала ...
Ml-junior's user avatar
0 голосов
0 ответов
19 показов

Ray Serve - обработка запросов не только из локальной сети

Как настроить Ray Serve таким образом, чтобы он обрабатывал не только запросы, которые пришли из локальной сети? Как задеплоить уже готовую модель? У нас в компании поднят кластер Ray, состоящий из 2х ...
Golikov Andrey's user avatar
0 голосов
0 ответов
32 показа

Не получается добиться точности от нейросети

При обучении нейросети конечная точность не более 51%. Вот код код (вырезал блок кода, где нормализовал данные) # разделение данных на признаки и целевые переменные x = data.iloc[:, :-1] # т.к ...
Иван's user avatar
1 голос
1 ответ
73 показа

При валидации резко падает точность по сравнению с тренировкой нейронной сети

Есть архитектура сети для разпознования двух отпечатков стоп на изображении. Весь набор данных очень похож. Просто разные размеры стоп немного в разном положении. Я хочу их определить. Для этого беру ...
evg7162's user avatar
  • 21
0 голосов
1 ответ
22 показа

Машинное обучение (Локализация и классификация)

Вопрос к ML специалистам. Пишу учебный проект в институте, необходимо распознать проявление студентом интереса к лекции например. Подумал классифицировать по двум классам, по типу отвернулся или ...
Антон Александрович's user avatar
0 голосов
0 ответов
38 показов

Как сделать fine-tuning ruDialoGPT?

Есть ли где-то определенные датасеты для файн-тининга русского диало ГПТ? общаться - общается, но хочется его напичкать какой-нибудь полезной инфой. Например чтоб сочинения писал, где-то же явно есть ...
Ubuty_programmist_7's user avatar
0 голосов
0 ответов
23 показа

Google ML Kit на андроид очень плохо распознаёт текст

Хотел создать приложение, распознающее текст с картинки пользователя. Пробовал Google ML Kit - текст с изображения распознаётся очень плохо. Ещё пробовал Tesseract4Android, работает ещё хуже. ...
Albert's user avatar
  • 13
-1 голос
1 ответ
26 показов

Можно ли использовать алгоритмы кластеризации для задач классификации в machine learning? [закрыт]

В интернете ничего не нашел по этому поводу.
HugeHead's user avatar
0 голосов
0 ответов
49 показов

Семантический анализ текстов на python

Есть задача: по описанию уязвимости из БДУ ФСТЭК найти подходящие под нее угрозы из той же БДУ. Проблема в том, что до этого мне никогда не приходилось сталкиваться с анализом текстов, поэтому я не ...
Anna Shevchenko's user avatar
0 голосов
1 ответ
73 показа

Повлияют ли неаннотированные изображения существующих классов, на обучение модели Faster R-CNN

Нужно обучить модель для обнаружения объектов. Допустим у меня есть 300 изображений для аннотаций с изображениями различных животных На изображении может быть много различных классов: Кошка, Собака, ...
Sherlock's user avatar
  • 404
0 голосов
0 ответов
22 показа

CatBoost не показывает визуализацию plot=True

Я обучаю модель CatBoost: clf = CatBoostClassifier( iterations=5, learning_rate=0.1, ) clf.fit( X_train, y_train, cat_features = categorical_columns, eval_set=(X_test, y_test), verbose=False, plot=...
GralL's user avatar
  • 191
0 голосов
0 ответов
20 показов

создание обучающего датасет для yolov5 из видеоматериалов

Для создагия датасета из изображений я использовал Label Studio, но она не потдерживает работу с видео файлами. Через что можно собрать для yolov5 с потдержкой видео форматов? Или лучше по кадру с ...
krolaper's user avatar
0 голосов
2 ответа
125 показов

Подогнать функцию под кривую методом curve_fit модуля scipy

Всем привет, пытаюсь решить задачу, но не могу, то ли я делаю что то не так, то ли использую не те инструменты. Есть набор данных, далее представлены в коде. Есть формула "PM+(Q-P)(x)-(Q/M)*(x**2)...
Михаил Никифоров's user avatar
3 голоса
1 ответ
61 показ

Проблема линейной регрессии

кого заинтересовал мой заголовок, сейчас я попробую как можно подробнее и интереснее описать проблему с которой я столкнулся в процессе изучения основ машинного обучения. Решая учебную задачу с kaggle,...
Gari's user avatar
  • 434
1 голос
1 ответ
69 показов

Зашумленные данные

Требуется генерировать зашумленные данные. Какие статистические методы зашумления существуют? Мне только известно о гауссовском шуме, но он подаётся определенному закону распределения.
Shakhin Gadzhiev's user avatar
0 голосов
1 ответ
145 показов

Scikit-learn.Для чего нужны параметры test_size, random_state, max_depth. И как их правильно указать на примере задачи

Никогда не изучал питон. В институте дали задачу, которую сам решить не могу - материала мало, сроки короткие. Помогите разобраться с крошечной частью алгоритма ее решения. Задача следующая "...
Человек 's user avatar
0 голосов
0 ответов
22 показа

Помогите отрисовать такой прямоугольник в tkinter

Мне нужно сделать так, чтобы на трансляции изображения с веб-камеры был виден такой прямоугольник, как на фото. Как можно его наложить прямо на видео, я разобрался, но у меня лишь отображается ...
ivaivie's user avatar
  • 41
0 голосов
0 ответов
38 показов

ValueError: non-broadcastable output operand with shape (12,1) doesn't match the broadcast shape (12,5)

Не могу понять, как исправить. Как я понял, неправильно матрицу транспонирует или что-то типа этого. Буду благодарен, если поможете и объясните, что не так: import pandas as pd from darts import ...
Игорь Смирнов's user avatar
0 голосов
1 ответ
58 показов

Для заданного y найти значения x

Помогите, пожалуйста, найти подход к решению следующей задачи: Пусть есть матрица X = (x1,…,xn), состоящая из временных рядов xi и вектор y. Суть задачи в том, чтобы научиться косвенно управлять ...
onetwoonexu's user avatar
0 голосов
1 ответ
25 показов

Какая модель машинного обучение тут подойдёт?

Ребята может кто то из вас подкинет идеи Есть задачка, нужно подобрать параметр - число остатков товарной позиции для интернет магазина. (он показывается для каждой карточки при добавлении в корзину) ...
frontjss's user avatar
0 голосов
0 ответов
7 показов

Как создать новые параметры для аналитики из таблицы

Дана какая-то таблица Excel, нужно из нее образовать дополнительные столбцы для визуальной аналитики Каким образом можно сделать это с помощью ml/nlp?
dolya1205's user avatar
0 голосов
1 ответ
104 показа

Почему возникает ошибка ValueError?

Я натренировал Random Forest Classifier. Сохранил модель, используя pickle. После, в другом python-файле, загрузил модель и передал ей предложение, которое ввёл. Возникает ошибка: ValueError: X has ...
MrMr's user avatar
  • 3
0 голосов
1 ответ
39 показов

Нейросеть для анализа последовательности чисел и предсказание следующего бинарного числа

На вход должна подаваться бинарная последовательность чисел, состоящая из 50 нулей и единиц. Нужно чтобы нейросеть обучилась на этой последовательности, проанализировала ее и на выходе предсказала ...
igetfreaky's user avatar
0 голосов
1 ответ
303 показа

pytorch не видит cuda

Я совсем новичок в этой теме и начал читать книгу. Тк на моем пк есть GPU, я захотел использовать cuda для работы с pytorch, но столкнулся с проблемой, что не могу его верно установить. >>> ...
Максим Бушуев's user avatar
1 голос
1 ответ
80 показов

Визуализация функции в plotly с помощью слайдеров

Пытаюсь сделать визуализацию влияния коэффициентов линейной функции на её график в задаче линейной регрессии на подобие того как это делается в desmos Для этого использую следующий код в plotly ...
Elijah_Pris's user avatar
0 голосов
0 ответов
216 показов

TensorFlow обучение на GPU

Как в TensorFlow обучать модели, используя GPU? Данный код показывает, что GPU у меня 0, хотя видеокарта есть. import tensorflow as tf print(tf.config.list_physical_devices('GPU')) Только начал ...
crn4t's user avatar
  • 11
0 голосов
0 ответов
8 показов

Входной слой и веса имеют разную размерность

Что нужно изменить размерность у входного слоя и весов которыми он связан? Если я не изменяю размерность x в цикле, то нейросеть выдаёт вектор размером (28, 10) на выходе import tensorflow as tf from ...
Rastrey's user avatar
  • 135
0 голосов
1 ответ
30 показов

Что делать если нет целевой переменой в датасете?

есть три таблицы: История активаций подписок CID -- идентификатор клиента SAP_ALLO_ID -- идентификатор активации подписки PRID -- идентификатор тарифа PRCID -- идентификатор услуги CONNECTION_DATE -- ...
SENSE's user avatar
  • 1
0 голосов
0 ответов
16 показов

Как можно конвертировать модель нейронной сети .pt в onnx?

Необходимо использовать сети формата .pt в Qt С++ с помощью модуля openCV dnn. Во что и как проще конвертировать .pt, предпочтительно Onnx
Vilture's user avatar
  • 11