0

Предположим, что я хочу передать черно-белое изображение нейросети (10,000 входных нейронов, разрешение 100x100). Как я могу осуществить это с изображениями с разным соотношением сторон? Я вижу три варинта:

1. Обрезать у изображения "лишнее", чтобы привести к квадрату (этот вариант сразу отпадает)

2. Ресайзнуть картинку до 100x100, не обращая внимание на соотношение сторон

3. Вместить картинку в квадрат, сохранив соотношение сторон. Оставшиеся свободные пиксели залить черным цветом.

Каков из вариантов предпочтительнее?

1 ответ 1

1

Зависит от задачи и сети. На готовой сети лучше всего использовать тот метод, на который сеть была тренирована (отсюда же и вопрос: как была тренирована сеть на неквадратных изображениях?)

Преимущества и недостатки каждого подхода:

  1. Отрезать лишнее:

    • помогает убрать шум, если вы знаете, что может быть лишним на изображении; сохраняет пропорции
    • может убрать ключевую для сети информацию (и вы не знаете, какую)
  2. Ресайз:

    • прост, часто используется для приведения к стандартному виду, есть несколько вариантов самого ресайза и пост-обработки
    • искажает пропорции и углы, может убрать ключевую информацию (например, при уменьшении потеряются точки) или добавить лишнюю
  3. Вместить в квадрат:

    • прост
    • добавляет лишнюю информацию, и если сеть к ней не готова, это приведёт к неправильному распознаванию

Возможны компромиссные варианты (ресайз + обрезка, реайз + вписывание) и тонкая настройка каждого метода. Можно попробовать располагать изображение в разных частях квадрата или заполнять шумом - в зависимости от сети всё может как помешать, так и помочь распознаванию.

3
  • Спасибо за довольно большой ответ! Сейчас подумал, а что если добавить нейроны, содержащую информацию о соотношении сторон изображения? Например, изображение 300x200: 2 нейрона: a) 0.6667 - Соотношение сторон b) 1 - Указывает на то, что большая сторона это ширина (если 0, то большая сторона - это высота) Само изображение можно вместить в квадрат, а дополнительную информацию (черные полосы) нейросеть будет убирать, исходя из переданных этих 2 нейронов. Такой вариант возможен? 28 мая 2018 в 12:14
  • Скорее сеть будет считать чёрные полосы частью элемента; НС практически невозможно обучить игнорировать части картинки из-за одного-двух нейронов - вместо этого она учится игнорировать эту пару нейронов :) Есть архитектурный "хак": подать информацию о размере изображения ближе к концу, чтобы он мог повлиять на финальные выходы; но может проще сделать две сети - на квадратные и прямоугольные изображения, и ресайзить к той, где искажений меньше, если искажения настолько нежелательны? А вообще чаще сеть учат узнавать изображение независимо от его места на входе и с некоторыми искажениями
    – Lyth
    28 мая 2018 в 14:07
  • Хорошо, еще раз спасибо!) 28 мая 2018 в 15:03

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.