Мне необходимо осуществить многоклассовую классификацию видеороликов. По жестикуляции необходимо определить человека. Датасет состоит из более, чем 100 часов видео, получается больше 5 000 000 изображений. Подскажите с помощью каких методов лучше это осуществить? Какие решения могут быть оптимальными по потреблению памяти и затрате времени? Использую python 3.6 на NVIDIA GeForce GTX 970.
-
1Правильно-ли я вас понял, что ваши 100 часов видео содержат более 5M РАЗМЕЧЕННЫХ изображений? Ну то-есть о каждом изображении жеста есть информация том, кто из "определяемых" лиц этот жест демонстрирует?– passant1 апр 2020 в 11:58
-
@passant Да, всё верно, это размеченный датасет– Alex1 апр 2020 в 12:47
1 ответ
Задача нетривиальная. Тут не об "оптимальных" решениях надо думать, а о любых, лишь бы они решали задачу. Ну и думать, где взять ресурсы для решения (я не о компьютерном оборудовании, хотя и о них тоже, но в последнюю очередь).
Во-первых, вам надо научиться распознавать сами жесты. Даже для языка жестов, т.е. не произвольных движений, а весьма стандартизироварнных жестах глухонемых Google только недавно построила более-менее работающую систему распознавания и кажется они были первыми кто получил реальные результаты. Хотя работают люди не первый год.
или вот еще
http://openarchive.nure.ua/bitstream/document/9173/1/kulishova_kazakova_PMW2019.pdf
Я же понимаю так, что у вас жесты могут быть произвольными (по крайней мере другого вы нам не сообщили). Ну там, нос почесать, волосы пригладить, улыбнуться, подмигнуть, дулю скрутить :-). Значит надо начать с того, что-бы их суметь распознать. Не думаю, что существует готовые решения. Вопрос - как справиться с этой задачей? Составите конкуренцию Google?
Вторая проблема. Предположим, вы выделили жесты. Теперь вам надо по одинаковым жестам разных людей суметь этих людей классифицировать. Причем - не по одному жесту всех, а при условии, что разные люди делают разные жесты (по крайней мере, так следует из описания задачи, которое вы привели) При этом вам надо суметь таким образом классифицировать ваши жесты, что бы на них выделить адекватные классифицирующие признаки. Не понятно, что вы имеете ввиду под "методом", но скорее всего здесь должны будут работать нейросети. Скорее всего - сверточного типа или производные от них. Тут вот распознавание по голосу или по фото до конце еще не решенные задачи (я не про рекламу, я про реальные задачи и проекты), а вы хотите - по жестам.
Думаю, оборудование, которое вы описали - явно не для такой задачи. Ну или будете свои сетки обучать годами :-). Кроме того, при всей моей расположенности к Python, для данной задачи - это не тот инструмент, который придется задействовать по крайней мере на этапе обучения.
Вообще-то говоря задача тянет на серьезный проект с элементами научного исследования. И уж точно вряд-ли может быть выполнена "любителем(ми)" без серьезнейшей подготовки в области машинного обучения.
А в остальном - конечно, могу пожелать удачи.