Здравствуйте. В настоящий момент пытаюсь разобраться в том, как устроены нейронные сети свертки и как их можно применять для распознавания изображений. Вроде как основная идея в том, чтобы чередовать сверточные слои с некими слоями для генерации "подвыборок". Если насчет сверточных слоев все более менее понятно (насколько я понял, выбираются несколько различных ядер и генерируются свертки с ними матрицы данных с предыдущего слоя сети), то насчет слоя подвыборки я не очень понял его архитектуру. У Ле Куна написано, что на таких слоях происходит усреднение сигналов нескольких нейронов (допустим, хотя вроде того же эффекта можно достичь предыдущим слоем) и затем цитирую "The second hidden layer performs 2 by 2 averaging and subsampling, followed by a rainable coefficient, bias and sigmoid function". Что здесь подразумевается под subsampling? Значит ли это, что на некоторые сигналы мы забиваем?
1 ответ
Посмотрите википедию. Подвыборка очень простая штука. Делают её все исследователи по-разному, но суть проста - уменьшить размерность. Одни выбирают максимум из четырех соседних точек (2х2), другие усредняют их, третьи усредняют две максимальных, четвертые вообще никак не делают уменьшение размерности (когда размерность данных и так мала). На вкус и цвет, как говорится... Всё равно никто научно не может доказать, как именно надо, у одних лучше работает то, у других другое.