2

Разбираясь с алгоритмом Stroke Width Transform, позволяющем довольно качественно определять местонахождение текста на изображениях, столкнулся с необходимостью подбора нижнего и верхнего порога для детекции краёв у оператора Кэнни (в его реализации в OpenCV).

Разумеется, что если брать изображения только идеального (в плане соответствующих условий) характера, например, как на обрезанном скриншоте ниже, то подбор порогов не составляет труда, и SWT в данной ситуации отрабатывает великолепно.

пример идеального изображения

Однако ситуация меняется в корне, когда уровни яркости, контрастности, резкости и т.п. имеют сильно различающиеся значения. Фактически, речь об изображениях, запечатлённых в естественной среде в произвольное время суток.

пример неидеального изображения 1 пример неидеального изображения 2 пример неидеального изображения 3 пример неидеального изображения 4

Очевидно, что обозначенные условия сильно отличаются от вышеприведённого идеального примера, а значит и пороги для детекции краёв символов будут различны от одного неидеального изображения к другому. Вполне возможно выставить максимум чувствительности у оператора Кэнни и детектировать всё подряд, но это очевидно влечёт за собой появление чрезмерного количества не представляющих интереса краёв, в том числе и в тех местах, где, например, просто проходит тень от светящих ярким светом ламп. Следствием этого уже является то, что SWT, мало того, что сильно теряет в производительности, результат его работы также начинает оставлять желать лучшего.

Да, методы выравнивания гистограммы, повышения резкости, регулировки яркости и прочие подобные во многих случаях способны привести к профиту, однако всё это в большинстве ситуаций возможно осуществлять лишь вручную, так сказать, на глаз подбирая соответствие необходимому качеству, что неприемлемо в виду огромного числа (от нескольких миллионов) имеющихся исходников. Использование каких-либо констант, операций с предопределёнными, заранее подобранными значениями во всех этих методах, в том числе и всячески адаптированных, приводит к улучшению ситуации с одними изображениями символов, но к значительному ухудшению с другими.

В сети нашёл рекомендацию использовать среднее значение интенсивности пикселей изображения для вычисления значений порогов для cv::Canny():

const double lower = std::max(0., (1. - sigma) * mean);
const double upper = std::min(255., (1. + sigma) * mean);

... где sigma - это подобранный вручную процент, равный 0.33, а mean - средняя температура по больнице среднее значение интенсивности пикселей изображения.

К сожалению, работает данный подход в большинстве случаев неудовлетворительно, поскольку имеет место быть действительно большое разнообразие условий, плюс дополнительный нюанс: изображение с номером не всегда нарезается корректно (это производится автоматически), захватывая подчас достаточно большие области вокруг номера, что соответственно добавляет свою толику к общей погрешности.

Отсюда конкретизация вопроса: какие ещё статистические данные изображения и/или его во что-то преобразованной копии каким-нибудь особо хитрым фильтром, возможно было бы использовать в рассмотренной ситуации, чтобы получить хотя бы частичную универсализацию использования оператора Кэнни?

З.Ы. Мне известны некоторые другие методы детекции символов, но в контексте данного вопроса хотелось бы остановиться именно на SWT и в частности на его составной части - операторе Кэнни.

Update:

Оригинальное изображение:

оригинальное изображение

Адаптивное выравнивание контрастности:

выравнивание контрастности

Появляется большое количество мусора вокруг символов. На разных изображениях разного уровня. В этом случае для Кэнни не подобрать универсальные пороги.

Высокочастотный фильтр Баттерворта 10-го порядка с размером ядра в 10 пикселей:

фильтр Баттерворта

Тень и водяной знак мешают. В принципе последний не сильно, а вот тень - очень. Для Кэнни это неприемлемо в том смысле, что полоса от тени будет обнаружена как край, поскольку градиент практически одного уровня, что и граница любого из символов. Это так сказать один из тяжёлых случаев.

Update 2:

Если же применять выравнивание гистограммы и высокочастотный фильтр последовательно, а не врозь, то картинка получается значительно интереснее.

последовательное применение фильтров

На исходник применено:

  1. адаптивная эквализация гистограммы;
  2. высокочастотный фильтр;
  3. простое весовое размытие с ядром 3х3.

Очень хороший результат в плане усреднения условий для применения Кэнни.

2 ответа 2

1

Тебе по сути надо убрать низкие частоты в яркостном канале. Пробовал локальную эквализацию гистограммы (с разными размерами окна)? Или фильтр верхних частот?

6
  • Выравнивание гистограммы с разными размерами окна не пробовал, но пробовал выполнять его на маленьком куске изображения на канале яркости. Появляется множество артефактов (грязь, почти одного уровня с символами на многих картинках), которое Кэнни обязательно отловит, поэтому отказался сразу.
    – user177227
    13 мая 2015 в 20:08
  • Высокочастотный фильтр тоже не пробовал, т.к. подумал, что как и в случае с эквализацией будет много шума. Тем не менее, сейчас решил проверить через Баттерворта. В принципе, если брать десятого порядка и небольшим размером ядра (в 5 пикс. например), то многие изображения очень даже хорошо выглядят. Символы становятся чётче, но и "грязь" при этом как ни странно не имеет чётких очертаний. Изображение по яркости даже на глаз получается выровненным. Надо тогда проверять, как этот результат воспримет Кэнни.
    – user177227
    13 мая 2015 в 20:11
  • А ты перед Кэнни делаешь какой-то шумодав или нет?
    – outcast
    14 мая 2015 в 0:06
  • Да, размытие с небольшим ядром фильтра в 3 или 5 пикселей.
    – user177227
    14 мая 2015 в 5:23
  • Надо, пожалуй, последовательно, друг за другом применять эквализацию и высокочастотный фильтр. Обновил вопрос.
    – user177227
    14 мая 2015 в 6:30
0

Как вариант, вместо высокочастотного фильтра можно применить алгоритм Тана-Триггса, позволяющего получить схожий по требуемым параметрам результат.

алгоритм Тана-Триггса

Контрастные границы символов выделяются значительно сильнее.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.