3

Перечитал некоторое количество статей в интернете. Базовые примеры на 3-10 нейронов понятны, однако для реальных задач, насколько я знаю, используются намного более объёмные сети.

Опишите способ их проектирования? Каким образом люди дробят задачу? Как разработчики определяют, что им понадобиться именно, например, 1105 нейронов, связанных только "таким" способом (архитектура) и каждый нейрон будет отвечать конкретно на "такой" вопрос, а не "какой-либо другой"?

4
  • 2
    общий вопрос чтоли 15 мая 2018 в 15:19
  • @PauloBerezini вопрос конкретный: "как они проектируются?" Но, согласен, интересует скорее общий обзор методов и подходов, ведь профильные статьи (из тех, что я нашёл) сразу ударяются в дебри, не оставляя шанса на понимание. 15 мая 2018 в 15:45
  • @CorellianAle - а учить не по статьям, а по книжкам - не пробовали? Там все описывается - подробно, регулярно, последовательно, понятно. И с логикой там все в порядке. А не так, как в обрывочных статьях.
    – passant
    5 янв 2021 в 11:20
  • @passant До смешного - нет, не пробовали! И через 2 года могу сказать следующее: 1) За эти 2 года можно было бы любую теорию выучить и разобрать - никаких отговорок. 2) В лучших традициях, проблему закрыли готовым решением (быстро и дорого). 11 янв 2021 в 7:46

2 ответа 2

4

Мало кто проектирует новые архитектуры НС (нейронных сетей) - таких людей единицы. В 99% случаев выбирается архитектура, которая хорошо себя показала (например побеждала в Kaggle/etc.). Под архитектурой я имею в виду наборы и сочетания скрытых слоев, а не количество нейронов в одном слое.

Опишите способ их проектирования? Каким образом люди дробят задачу? Как разработчики определяют, что им понадобиться именно, например, 1105 нейронов, связанных только "таким" способом (архитектура) и каждый нейрон будет отвечать конкретно на "такой" вопрос, а не "какой-либо другой"?

Обычно НС применяются в задачах с контролируемым обучением (supervised learning). Соответственно на этапе обучения НС знает к каким значениям ей надо стремится. Т.е. настроить веса и параметры сети таким образом, чтобы данные и тренировочного и особенно тестового наборов показывали наилучший результат. Поэтому обученная сеть отвечает на тот вопрос, на который она была обучена / натренирована.


Например глубокие НС, распозняющие различные объекты на картинках, обучаются следующим образом:

  • на начальных слоях НС учится распознавать элементарные признаки, например границы / линии - горизонтальные, вертикальные, дианональные и т.д.

  • на следующих слоях это могут быть, например дуги, и т.д.

  • на еще более глубоких слоях это уже могут быть простые геометрические фигуры, например, прямоугольники, окружности, эллипсы, etc.

  • с увеличением глубины слоя НС учится распознавать все более сложные / составные объекты, например глаза, нос, губы на лице и т.д.

  • так можно научить сеть не просто распознать человека, но и заставить ее отличать, например лежащего человека или человека который один, не в группе других людей, etc.

Вся прелесть НС в том, что вы ей даете для обучения только две матрицы (входящую и результирующую) и архитектуру - все остальное НС делает сама.

Вам только надо следить чтобы сеть хорошо обучалась на тренировочных данных и не переобучалась...

3
  • Но существуется же какая-то логика, по которой люди модифицируют существующие нейронные сети. Делают они это, я думаю, вполне осознанно и с пониманием. Просто мне не совсем понятно, на чём именно основываются решения при модификации архитектуры. Не могу уловить, как от таких простых примеров, как этот люди приходят к многослойным с десятками тысяч нейронов? Вроде почти любую ситуацию можно описать 10-20 нейронами, только так оно не работает. 16 мая 2018 в 12:32
  • На самом деле я до сих пор не понимаю, как я для своих целей могу подобрать кол-во скрытых слоев и тд. "на начальных слоях НС учится распознавать элементарные признаки ..., на следующих слоях это могут быть, например дуги, и т.д." - вот как можно понять какой элемент будет на определенном сочетании нейронов?
    – entithat
    5 янв 2021 в 11:47
  • @entithat, почитайте о визуализации слоев сверточных сетей 5 янв 2021 в 11:50
2

все зависит от цели обучения. если работаешь с компьютерным зрением - одни сетки, с тексом и речью - другие. Данные собираются и готовятся по разному. Количество слоев и нейронов - в зависимости от задачи и ее сложности. Есть разные конфигурации - входной слой, скрытые слои, выходной слой и т.д. Слои, количество нейронов, активация, потери, и прочее в зависимости от задачи. Я сам новичок в этом деле, многое не знаю, многое забываю. Просто набираешь слои как в конструкторе, а какие и как - тут все от задачи зависит. Как-то так. Можно брать готовые сетки в разных Model Zoo, kaggle. и знать, что сетки тоже ошибаются всегда. Чем сложнее задача, тем больше нейронов, потому что больше входных данных, параметров. Есть генетические сети, сети с подкреплением -для игр и т.д, там может быть большое количество вариантов действий - много нейронов что бы их учесть и обработать - там веса могут вообще не назначать, потому что они в процессе обучения расчитываются сами.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.