5

Вопрос к разработчикам проектов по распознаванию образов. Как лучше организовать архитектуру подобного сервиса?

Сейчас склоняюсь к решению использовать для работы с данными (а особенно для обучения) специализированные GPU-инстансы Amazon EC2 P2. На серверах установлено ПО только для работы искусственных нейронных сетей (Python, Anaconda, Keras, TensorFlow). В production-режиме сервер на вход принимает изображения с метаданными (как именно обработать изображение и какие данные вернуть), на выходе возвращает JSON-массив в зависимости от типа метаданных. Никакой особой логики там не хранится, вся аналитика происходит на серверах web-приложений.

Обучающие и тестовые выборки хранятся в отдельном кластере (обычные сервера с большим дисковым пространством). Туда же загружаются изображения из сети найденные собственными поисковыми ботами (через соцсети и поисковые системы).

Взаимодействие web-приложения с нейронной сетью осуществляется через API-запросы к GPU-серверам. Далее результат уже выдается на клиенты (аналогично с клиентов все идет на web-приложение, а затем на обработку в нейронную сеть).

Теперь основные вопросы:

  1. На каком участке вы проводите аналитику? (например, чтобы определить, что на фотографии на человеке надет синий мужской пиджак к нейронной сети выполняется каскад запросов "поиск мужчины"->"поиск пиджака"->"определение цвета пиджака". для получения более высокого качества ответа и снижения нагрузки на сеть каждый запрос выполняется отдельно при утвердительном предыдущем). Имеет ли смысл реализовывать все варианты поиска в рамках единой нейросети или лучше создать множество отдельных нейросетей, заточенных под достаточно простые задачи?
  2. Как вы оптимизируете потребление ресурсов на этапах обучения и работы сети? Пока на уме только вариант с созданием специализированного GPU-кластера под обучение в рамках облачного хостинга и его периодическое включение по мере надобности (иначе дорого получается).
6
  • Вопрос закроют как общий, так как слишком много вопросов в одном. Необходимо разбить на несколько.
    – edem
    31 окт 2017 в 21:58
  • 1
    @edem что касается основного вопроса - он про построение архитектуры в целом. немного подправил, чтобы был понятнее главный смысл 31 окт 2017 в 23:09
  • И нейронные сети - это всё не так продуктивно, как кажется. Прощё написать алгоритм, чем добиваться такого-же алгоритма, обучая сеть, мало того результат будет гораздо производительнее. Делал распознавание изображений на сегментации (без ИНС), работало на обычном сервере. Задача была такая - на одном большом изображении 5 предметов(повёрнутые, искажённые, наклонённые), база предметов фиксированная - 2к картинок. Требовалось определить - каких категорий предметов на картинке больше всего. И работало это с вероятностью 60% 6 ноя 2017 в 15:04
  • @ГончаровАлександр при анализе текстовых данных соглашусь, но при анализе графических все же без нейронных сетей сложно. достаточно простые реализации ИНС позволяют выходить на 90-95% верных ответов (по нормальным, не "убитым" фото, при обучении по выборке 1000-2000 картинок с аугментацией). 6 ноя 2017 в 23:58
  • @Dmitry Maslennikov да, сегодня это может быть проще, если составить программу автообучение ИНС. Но, у нейросетей очень туго с поворотами картинки - в моей задаче был произвольный угол поворота: и самое печальное в этом - сама проблема подхода скармливания картинок нейросети. Чтобы нейросеть нормально работала с углами - растровую графику нужно сначала худо-бедно преобразовать в векторную, и кормить уже векторные данные. Но если вы это сделали - то в распознавании уже тоже можно обойтись без ИНС. Могу заблуждаться, т.к. работал с этим в 2012 году.. 7 ноя 2017 в 0:23

1 ответ 1

5
+50

Ваши вопросы говорят о том что, вы не осознаете всей сложности проблемы поиска мужчины на фото, не говоря уж о поиске пиджака. Хотя бы найти объект произвольного размера на фото по меркам на конец 2017 года - это уже передний край науки.

Сначала начните с простого. Попытайтесь хотя бы в общих чертах решить вашу проблему, о которой ни слова в вопросе. Арендуете ли вы для этого один сервер, или купите подходящую видеокарту - дело второе. Можно и без видеокарт. Как только вы поймете что для радикального уменьшения ошибки обучения вам нужны годы на ваших мощностях, тогда можно будет говорить об аренде кластера. И тогда вы можете обратиться к документации на TensorFlow чтобы узнать как конкретно решаются подобные проблемы.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.