1

Объясните с примерами, что такое padding, stride в свёрточных слоях нейронных сетей. Как работать с ними в PyTorch. Для конкретики приведу кусок кода:

nn.Conv2d(in_channels, out_channels, (kernel_heights[0], embedding_length), stride, padding)

Объясните (на картинке), что есть stride, а что -- padding?

3

1 ответ 1

1

Stride - определяет шаг фильтра по карте признаков (или изображению, если это первыйй слой). Если stride=1, то это значит, что фильтр будет помещен в каждое положение на карте признаков и из исходной карты признаков размером CxHxW (каналы x высота х ширина) будет получена карта признаков того же размера. Если stride=2, то результат будет CxW/2xHx2.

padding - определяет насколько надо расширить карту признаков перед выполнением свертки. Как правило, это нужно, чтобы посчитать значение свертки с фильтром в положении на границе карты признаков. То есть если идет свертка с фильтром 7х7 (kernel_size=7), то надо сделать padding=3, чтобы карта признаков не ужалась после свертки. Есть несколько вариантов чем расширять карту признаков, самый частый вариант это zero padding, т.е. расширение карты признаков нулями.

Работать в pytorch очень просто - надо просто указать нужный параметр. В принципе документация (https://pytorch.org/docs/1.9.1/generated/torch.nn.Conv2d.html) раскрывает, как этим пользоваться, но, надеюсь, мой ответ проясняет немного детали.

1
  • Ваш ответ можно улучшить с помощью дополнительной информации. Пожалуйста, нажмите править для добавления подробностей, например, цитат или документации, чтобы другие могли подтвердить правильность вашего ответа. Вы можете найти дополнительную информацию о том, как писать хорошие ответы в Справке. 13 янв 2022 в 7:14

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.