5

Приветствую всех!

Ситуация следующая: есть видео разрешением 1920x2400, закодированное hevc (h265), спрятанное в .mp4, подготовленное с частотой 30 фпс; аудиопотока нет, только видео

Есть задача - воспроизводить это видео на двух мониторах 1920x1080 (так называемая вертикальная стерео-пара) После поиска методов для реализации данного алгоритма, было принято решение использовать DirectShow для получения кадров и DirectX для вывода текстуры. Получилась следующая цепочка графов:

FileSourceFilter -> Lav Splitter -> Lav Video Decoder -> SampleGrabber -> NullRenderer

В callback-функции SampleGrabber'а беру и создаю Texture2D, из которой создаю ShaderResourceView. Ну, и соответственно, есть два плоских меша, на которых накладывается текстура. Отрисовка происходит вот так:

const float bg_clear_color[4] = { 1.0f, 1.0f, 1.0f, 1.0f };

pD3DDC->ClearRenderTargetView(pD3DRenderTarget, bg_clear_color);
pD3DDC->ClearDepthStencilView(pD3DDepthStencilView, D3D11_CLEAR_DEPTH, 1.0f, 0);

objects[0]->Render();
objects[1]->Render();

pD3DSwapChain->Present(0, 0);

И картинка идет, но происходят подтормаживания. Бьюсь над этим вопросом уже несколько месяцев, не знаю в каком направлении рыть, пробовал всякое, и аппаратное ускорение и снижение битрейта видео до 10-12 мбит/c. Ситуация немного улучшилась, но все равно картинка дергается.

Прошу экспертов и знающих проконсультировать по данному вопросу, может быть сам алгоритм неправильно продуман. Есть чувство, что я что-то упускаю. Буду рад любой помощи, спасибо.

EDIT:

В данный момент по совету @Roman совершаю миграцию своего движка на Media Foundation с DirectShow. Так как мы перешли на MF, начали использовать h264 для надежности, потому что как я понял, h265 сложнее использовать и по-умолчанию драйвера не установлены, придется подключать их дополнительно, как самописные фильтры DS (возможно, я ошибаюсь, но это пока не важно).

Задача немного изменилась и теперь произносится так: есть четыре видео 1920x1080 h264 20 mbps 30 fps. Разрешение было выбрано именно такое, потому что в документации на MSDN мной было замечено, что максимальное разрешение видео, при котором возможно использовать аппаратное ускорение, - 1920x1088. Задача требует максимально быстро получать кадры из каждого видео и писать их в текстуры ID3D11Texture2D, чтобы потом их выводить в сцене Direct3D 11.

Сейчас на рабочей машине стоит две видеокарты NVIDIA GTX 950, к каждой видеокарте подключено по два монитора, и еще один монитор. Все мониторы 1920x1080.

После того как я провел неделю кряду над поиском информации по MF, я был удивлен, как мало информации можно найти на тему видео текстур с поддержкой HWA, проштрудировал практически все мануалы по MF на MSDN, но все равно многое осталось мне непонятным. Сейчас расскажу как у меня сейчас все работает и чего хотелось бы добиться. Выражаю огромную благодарность товарищу @Roman, который многое подсказал и направил меня в нужном направлении.

Direct3D устройство создается у меня следующим кодом:

D3D_FEATURE_LEVEL fl[] = {D3D_FEATURE_LEVEL_11_1};
CH(D3D11CreateDevice(0, D3D_DRIVER_TYPE_HARDWARE, 0, D3D11_CREATE_DEVICE_VIDEO_SUPPORT, fl, ARRAYSIZE(fl), D3D11_SDK_VERSION, &pD3DDevice, 0, &pD3DDC));

При перечислении доступных устройств у меня в списке отображается четыре, Intel(R) HD Graphics, два NDIVIA GTX 950 и Microsoft Basic Render Driver. Хотелось бы использовать два видео на первом NVIDIA устройстве, а остальные два на другом, но вот в чем проблема. Если я создаю устройство с указанием одного из них, мне приходится передавать параметр D3D_DRIVER_TYPE_UNKNOWN, что снижает фпс и одно видео на NV выдает ~25 фпс. Если я инициализирую устройство как в коде выше - по-умолчанию выбирается Intel, но зато фпс выдает ~50 (я подозреваю, что почему-то не включается аппаратное ускорение), что странно.

Моя затея следующая: я хочу максимально задействовать силы NVIDIA карты с HWA, чтобы все кадры видео сразу рендерелись в текстуру, без лишнего копирования в CPU, а потом обратно в GPU, как у меня было реализовано.

CComPtr<IMFSample> sample;
CH(reader->ReadSample(MF_SOURCE_READER_FIRST_VIDEO_STREAM, 0, 0, &flags, 0, &sample.p));

CComPtr<IMFMediaBuffer> buffer;
BYTE* data;
CH(sample->ConvertToContiguousBuffer(&buffer));
CH(buffer->Lock(&data, NULL_PTR, NULL_PTR));

DWORD dwSize;
CH(buffer->GetCurrentLength(&dwSize));
UpdateVideoTexture(data, dwSize);

buffer->Unlock();

Этот код был создан на основе вот этого, но там все также есть затык, получается мы вытаскиваем текстуру из GPU и потом засовываем ее обратно. Этот код медленный. Поэтому я начал копать дальше, и вот что получилось, как я инициализирую SourceReader.

//Инициализируем COM библиотеку для нашего приложения и MF библиотеку
CH(CoInitializeEx(NULL_PTR, COINIT_APARTMENTTHREADED | COINIT_DISABLE_OLE1DDE));
CH(MFStartup(MF_VERSION));

//Говорим библиотеке D3D что мы используем мультипоточные вызовы MF, чтобы избежать undefined behavior
const CComQIPtr<ID3D10Multithread> pMultithread = pD3DDevice;
pMultithread->SetMultithreadProtected(TRUE);

//Создание Менеджера Устройств MF
UINT token;
CComPtr<IMFDXGIDeviceManager> manager;
CH(MFCreateDXGIDeviceManager(&token, &manager));

//Привязываем наше D3D Устройство к Менеджеру Устройств
CH(manager->ResetDevice(pD3DDevice, token));

//Создаем свойства SourceReader
CComPtr<IMFAttributes> attributes;
CH(MFCreateAttributes(&attributes, 2));
CH(attributes->SetUnknown(MF_SOURCE_READER_D3D_MANAGER, manager));  //указываем менеджер
CH(attributes->SetUINT32(MF_SOURCE_READER_DISABLE_DXVA, FALSE));
CH(attributes->SetUINT32(MF_SOURCE_READER_ENABLE_ADVANCED_VIDEO_PROCESSING, TRUE));

//Создаем SourceReader и загружаем видео, зажатое h264 кодеком
CH(MFCreateSourceReaderFromURL(L"D:\\Work\\WorkFiles\\1.mp4", attributes, &reader));

//Настраиваем выходной медиатип декодера в SourceReader
CComPtr<IMFMediaType> output_type;
CH(MFCreateMediaType(&output_type));
CH(output_type->SetGUID(MF_MT_MAJOR_TYPE, MFMediaType_Video));
CH(output_type->SetGUID(MF_MT_SUBTYPE, MFVideoFormat_NV12));
CH(reader->SetCurrentMediaType(MF_SOURCE_READER_FIRST_VIDEO_STREAM, NULL_PTR, output_type));

//Создаем Видео Устройство
CComPtr<ID3D11VideoDevice> pVideoDevice;
CH(pD3DDevice->QueryInterface(IID_PPV_ARGS(&pVideoDevice)));

//Создаем видеотекстуру
CH(D3DHelper_Create2DTexture(pD3DDevice, &pD3DVideoTexture, CORE_WIDTH, CORE_HEIGHT, DXGI_FORMAT_NV12, D3D11_BIND_DECODER, 0, D3D11_USAGE_DEFAULT, 0));

D3D11_VIDEO_DECODER_OUTPUT_VIEW_DESC dc;
dc.DecodeProfile = D3D11_DECODER_PROFILE_H264_VLD_NOFGT;
dc.Texture2D.ArraySlice = 0;
dc.ViewDimension = D3D11_VDOV_DIMENSION_TEXTURE2D;

//И описываем D3D View текстуры
CH(pVideoDevice->CreateVideoDecoderOutputView((ID3D11Resource*)pD3DVideoTexture, &dc, &pVideoDecoderOutputView));
CH(pD3DDC->QueryInterface(IID_PPV_ARGS(&pVideoContext)));

//Описываем енумератор Видео Процессора
D3D11_VIDEO_PROCESSOR_CONTENT_DESC ed;
CLEAR(ed);

ed.InputFrameFormat = D3D11_VIDEO_FRAME_FORMAT_PROGRESSIVE;
ed.InputFrameRate.Numerator = 60;
ed.InputFrameRate.Denominator = 1;
ed.InputWidth = CORE_WIDTH;
ed.InputHeight = CORE_HEIGHT;
ed.OutputFrameRate.Numerator = 60;
ed.OutputFrameRate.Denominator = 1;
ed.OutputWidth = CORE_WIDTH;
ed.OutputHeight = CORE_HEIGHT;
ed.Usage = D3D11_VIDEO_USAGE_OPTIMAL_SPEED;

CComPtr<ID3D11VideoProcessorEnumerator> pVideoEnum;
CH(pVideoDevice->CreateVideoProcessorEnumerator(&ed, &pVideoEnum));

//Создаем Видео Процессор
CH(pVideoDevice->CreateVideoProcessor(pVideoEnum, 0, &pVideoProcessor));

В последствии я планирую вызывать ReadSample, а что делать дальше не знаю, прошу помощи, спасибо. Ради поддержки вышестоящего кода пришлось даже пересесть с Win7 на Win10. Благодарю за любую помощь.

EDIT:

P.S.: Вот код, которым сейчас инициализируется текстура:

D3D11_MAPPED_SUBRESOURCE resource;
CH(pD3DDC->Map(pD3DVideoTexture, 0, D3D11_MAP_WRITE_DISCARD, 0, &resource));

memcpy(resource.pData, data, dwSize);
pD3DDC->Unmap(pD3DVideoTexture, 0);

SAFE_COM_RELEASE(pD3DVideoTextureRV);

CH(pD3DDevice->CreateShaderResourceView(pD3DVideoTexture, 0, &pD3DVideoTextureRV));
pD3DDC->PSSetShaderResources(0, 1, &pD3DVideoTextureRV);
1
  • Так как это база знаний, то для всех заходящих сюда из гугла будет полезнее, если вы изучите пример, ссылка на который дана в вашем ответе, и выложите в ответ (вместо голой ссылки на тот пример) сведения о найденных техниках быстрой визуализации (что именно, в отличие от вашего примера, позволяет достичь максимальной производительности). 12 янв 2017 в 19:36

2 ответа 2

3

В этой схеме есть сразу несколько потенциальных заторов, один или несколько из которых ограничивают общую работу. Они таковы:

  1. Неизвестна производительность декодера, справляется ли он нормально с задачей или он и тормозит
  2. Подключение Sample Grabber таково, что возможно между ним и декодером происходит дополнительное преобразование данных, либо как дополнительный фильтр, либо в рамках LAV декодера - это может сказываться на производительности
  3. Sample Grabber выгребает данные в системной памяти независимо от режима аппаратного ускорения
  4. Sample Grabber может оперировать ограниченным числом буферов, что в свою очередь может ограничивать возможность декодера своевременно пополнять очередь; само присутствие Sample Grabber как правило является свидетельством неспособности потреблять данные более эффективным способом
  5. Не указан тип текстуры заполнение staging текстур в реальном времени имеет слабую производительность

Так, в общем, хорошо бы декодировать аппаратно прямиком в текстуру и дальше уже данными в ресурсе графического адаптера манипулировать рисуя сцену. Такой подход, к сожалению, нереализуем с Sample Grabber. Media Foundation API, к примеру, такие фокусы позволяет.

5
  • Благодарю Вас за ответ! С MF еще не работал, буду изучать его возможности. Помечу Ваш пост как ответ, спасибо!
    – Igor.0xE4
    11 окт 2016 в 2:44
  • потратил около двух недель на изучение и введение в MF. Был удивлен, что по нему так мало документации в сети. У меня возник вопрос, буду очень признателен, если вы мне на него ответите. Если я использую SourceReader для того чтобы получать семлпы из .mp4 видео, закодированного h264, то это получается уже организация работы как у меня в цепочке в первом посте (т.е. я запрашиваю буффер и работаю с ним "софтварно", а как указать текстуру напрямую, будь то ID3D11Texture2d или ID3D11ShaderResourceView, чтобы картинка писалась туда сразу? Большое спасибо.
    – Igor.0xE4
    7 янв 2017 в 15:04
  • 1
    Для того, чтобы Source Reader использовал аппаратный декодер, вам нужно сделать соответствующую инициализацию, так чтобы компоненты ридера совместно использовали Direct3D устройство (см. MF_SOURCE_READER_D3D_MANAGER по ccылке ниже). Это даст возможность декодеру пойти по пути аппаратного ускорения и выдавать кадры в ID3D11Texture2D текстуры. Рекомендую обратить внимание на недавний вопрос на "большом StackOverflow", где этой темы недавно касались. 7 янв 2017 в 15:21
  • При правильной инициализации вы будете получать IMFSample интерфейсы, построенные поверх текстур из пула. Далее вы сможете получать доступ непосредственно к текстуре и далее - пользоваться данными по своей необходимости. 7 янв 2017 в 15:23
  • Обновил первый пост.
    – Igor.0xE4
    11 янв 2017 в 20:53
1

С помощью этого примера получилось разобраться с проблемой, выводится минимум по 50 фпс на всех четырех мониторах, спасибо за помощь!

EDIT:

Подробно расскажу как это получилось.

Добавляю подробную информацию, поиск которой занял у меня около недели, но результат того стоит, надеюсь, этот код поможет быстрее понять принцип. Выкладываю кусок кода, отвечающий за получение видеотекстуры и ее запись в шейдер для дальнейшего отображения на моделях в сцене. Код максимально сжатый, с опущенными проверками для наглядности алгоритма. Следующая часть работает с инициализацией MF как в первом посте.

Суть алгоритма в следующем:

CComPtr<IMFSample> pSample;
CH(pSourceReader->ReadSample(MF_SOURCE_READER_FIRST_VIDEO_STREAM, 0, 0, &flags, 0, &pSample));

CComPtr<IMFMediaBuffer> pBuffer;
CH(pSample->GetBufferByIndex(0, &pBuffer));

CComPtr<IMFDXGIBuffer> pDXGIBuffer;
CH(pBuffer->QueryInterface(IID_PPV_ARGS(&pDXGIBuffer)));

CComPtr<ID3D11Texture2D> pTexture2D;
CH(pDXGIBuffer->GetResource(IID_PPV_ARGS(&pTexture2D)));

D3D11_TEXTURE2D_DESC desc;
pTexture2D->GetDesc(&desc);

D3D11_VIDEO_PROCESSOR_CONTENT_DESC cd;
CL(cd);

cd.InputFrameFormat = D3D11_VIDEO_FRAME_FORMAT_INTERLACED_TOP_FIELD_FIRST;
cd.InputWidth = desc.Width;
cd.InputHeight = desc.Height;
cd.OutputWidth = desc.Width;
cd.OutputHeight = desc.Height;
cd.Usage = D3D11_VIDEO_USAGE_PLAYBACK_NORMAL;

CH(pVideoDevice->CreateVideoProcessorEnumerator(&cd, &pVideoEnum));
CH(pVideoEnum->CheckVideoProcessorFormat(DXGI_FORMAT_B8G8R8A8_UNORM, &uiFlags));
CH(pVideoDevice->CreateVideoProcessor(pVideoEnum, 0, &pVideoProcessor));

pSample.Release();
pBuffer.Release();

CH(MFCreateSample(&pSample));

CH(MFCreateDXGISurfaceBuffer(__uuidof(ID3D11Texture2D), pD3DVideoTexture, 0, FALSE, &pBuffer));
CH(pSample->AddBuffer(pBuffer));

D3D11_VIDEO_PROCESSOR_OUTPUT_VIEW_DESC OutputViewDesc;
CL(OutputViewDesc);

OutputViewDesc.ViewDimension = D3D11_VPOV_DIMENSION_TEXTURE2D;
OutputViewDesc.Texture2D.MipSlice = 0;
OutputViewDesc.Texture2DArray.MipSlice = 0;
OutputViewDesc.Texture2DArray.FirstArraySlice = 0;

CComPtr<ID3D11VideoProcessorOutputView> pOutputView;
CH(pVideoDevice->CreateVideoProcessorOutputView(pD3DVideoTexture, pVideoEnum, &OutputViewDesc, &pOutputView));

D3D11_VIDEO_PROCESSOR_INPUT_VIEW_DESC ivd;
CL(ivd);

ivd.FourCC = 0;
ivd.ViewDimension = D3D11_VPIV_DIMENSION_TEXTURE2D;
ivd.Texture2D.MipSlice = 0;
ivd.Texture2D.ArraySlice = 0;

CComPtr<ID3D11VideoProcessorInputView> pInputView;
CH(pVideoDevice->CreateVideoProcessorInputView(pTexture2D, pVideoEnum, &ivd, &pInputView));

D3D11_VIDEO_PROCESSOR_STREAM sd;
CL(sd);

sd.Enable = TRUE;
sd.OutputIndex = 0;
sd.InputFrameOrField = 0;
sd.PastFrames = 0;
sd.FutureFrames = 0;
sd.ppPastSurfaces = NULL;
sd.ppFutureSurfaces = NULL;
sd.pInputSurface = pInputView;
sd.ppPastSurfacesRight = NULL;
sd.ppFutureSurfacesRight = NULL;

CH(pVideoContext->VideoProcessorBlt(pVideoProcessor, pOutputView, 0, 1, &sd));

SAFE_COM_RELEASE(pD3DVideoTextureRV);
CH(pD3DDevice->CreateShaderResourceView(pD3DVideoTexture, 0, &pD3DVideoTextureRV));

pD3DDC->PSSetShaderResources(0, 1, &pD3DVideoTextureRV);

А теперь объясню что здесь происходит. Как ранее подсказывал @Roman, мы при правильной инициализации, мы получаем с помощью IMFSourceReader указатель на наши сэмплы (IMFSample). Далее мы получаем указатель на IMFDXGIBuffer интерфейс, из которого в свою очередь вытягиваем указатель на нужный интерфейс ID3D11Texture2D. В этой текстуре уже хранится информация кадра видео, но как я понял, ее нельзя сразу использовать для рендеринга, нужно пропустить ее через некоторый видеопроцессинг, что мы и делаем далее. Стоит заметить, что ту текстуру, которую я использую для шейдера я создаю ранее, в другой части кода с BIND-флагами D3D11_BIND_SHADER_RESOURCE | D3D11_BIND_RENDER_TARGET, как это описано здесь.

Далее по коду мы создаем нужные интерфейсы для того, чтобы указать что конечный результат будет записан в нашу текстуру (она объявлена в коде как pD3DVideoTexture). После всех операций, на основе этой текстуры, я создаю ID3D11ShaderResourceView, который связывает нашу текстуру с шейдером. При правильных действиях, программа выдает от 125 до 175 фпс на NVIDIA GTX 950 (для одного видео 1920x1080 h264 20 mbps). Хочу подчеркнуть, что это не максимум, MF поистине сильная вещь, хорошо оптимизированная под Windows 10. Если не использовать дополнительное копирование в pD3DVideoTexture, а указывать везде текстуру задника окна, которую мы можем получить из интерфейса IDXGISwapChain с помощью метода GetBuffer(), то фпс у меня доходил от 300 до 350, при том, что CPU был загружен на ~20%, а GPU на ~50-60%. Под словом "фпс", здесь я имею в виду максимально возможное количество кадров, которое может вытащить движок в секунду, надеюсь, понятно, что для многих видеоплееров не нужно больше 30-50.

Надеюсь, этой информацией я кому-то помогу, и люди быстрее найдут решение! Еще раз спасибо за помощь.

2
  • Поясню, чего от вас хотят. Так как это база знаний, то для всех заходящих сюда из гугла будет полезнее, если вы изучите тот пример и выложите сюда сведения о найденных техниках быстрой визуализации (что именно, в отличие от вашего примера, позволяет достичь максимальной производительности). 12 янв 2017 в 19:35
  • Обновил информацию, добавил примеры исходного кода.
    – Igor.0xE4
    13 янв 2017 в 0:22

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.