0

Нужно организовать стрим в браузер с веб-камеры с межкадровым сжатием. Поскольку h264 не поддерживается в Chromium браузерах, кодирую в vp8. Так как веб-камера не может выдавать стабильный FPS из-за различных условий съёмки и количества поступающего на матрицу света, возникает вопрос - как задать vpx кодеку время показа индивидуально для каждого кадра?
Инициализация кодека походит так:

bool Codec::Open(unsigned int width, unsigned int height){
    if(!vpx_img_alloc(&frame, VPX_IMG_FMT_I420, width, height, 1)){
        cout << "Img alloc error\n";
        return false;
    }
    if( vpx_codec_enc_config_default(vpx_codec_vp8_cx(), &cfg, 0) != VPX_CODEC_OK){
        vpx_img_free(&frame);
        cout << "Def conf set error\n";
        return false;
    }
    cfg.g_timebase.den = 20;
    cfg.g_timebase.num = 1;
    cfg.rc_min_quantizer = 20;
    cfg.rc_max_quantizer = 50;
    cfg.g_w = width;
    cfg.g_h = height;
    cfg.rc_target_bitrate = cfg.g_w * cfg.g_h * cfg.rc_target_bitrate;
    if( vpx_codec_enc_init(&ctx, vpx_codec_vp8_cx(), &cfg, 0) != VPX_CODEC_OK){
        vpx_img_free(&frame);
        cout << "Codec init error\n";
        return false;
    }
    frames = 0;
    return true;
}

Процесс кодирования кадра:

std::string Codec::Encode(unsigned char *source){
    std::string result("");
    vpx_codec_iter_t iter = NULL;
    const vpx_codec_cx_pkt_t *pkt;
    colorspaces::BGRtoI420(cfg.g_w, cfg.g_h, source, &frame.planes[0], &frame.planes[1], &frame.planes[2]);
    if( vpx_codec_encode(&ctx, &frame, frames, 1, 0, VPX_DL_REALTIME) != VPX_CODEC_OK){return result;}
    while(pkt = vpx_codec_get_cx_data(&ctx, &iter)){
        if( pkt->kind == VPX_CODEC_CX_FRAME_PKT){
            result+= write_ivf_frame_header(pkt);
            result.append((char*)(pkt->data.frame.buf), pkt->data.frame.sz);
        }
    }
    frames++;
    return result;
}

Есть идея снимать серию кадров с расчётом среднего значения FPS и потом отправлять пакет кадров на кодирование в параллельном потоке, но тогда придётся каждый раз заново инициализировать кодировщик и устанавливать другие параметры FPS (cfg.g_timebase.den). Может у кого есть идеи получше?

8
  • "веб-камера не может выдавать стабильный FPS из-за различных условий съёмки и количества поступающего на матрицу света" какое интересное утверждение. 5 янв 2018 в 12:12
  • @VTT, ну, оно получено опытным путём - 60 пользователей в разных офисах, и с разными ноутами/компами, с разными камерами. Сейчас система отправляет JPEG кадры (покадровое сжатие), а для экономии пропускной способности интернет-канала нужно перевести на межкадровое сжатие.
    – Iceman
    5 янв 2018 в 12:55
  • @VTT, а что удивительного-то? Это факт. Попробуйте позаписывать кадры с камеры и посмотрите, что с таймстампами.
    – c4pQ
    6 янв 2018 в 16:39
  • @Iceman, вы можете буферизировать кадры. Таймстамп нового кадра вы вполне можете посчитать. В случае задержки, которую вы сами определите, подсовываете предыдущий кадр на кодирование. Так вы избежите проблемы с изменением fps и переинициализацией. Вы к кадрам камеры как доступ получаете?
    – c4pQ
    6 янв 2018 в 16:44
  • @user1056837, кадры получаю через самописный класс на базе vfw32. Технология старая, но зато с ней заводится любая камера на любой винде, а с OpenCV были случаи отказа работать с некоторыми девайсами, которые при этом легко работали с тем же скайпом и алгоритмами на основе vfw
    – Iceman
    7 янв 2018 в 6:18

1 ответ 1

0

Получается, для компенсации нестабильного FPS, который выдаёт камера, к глобальному PTS нужно приращивать отношение полученной задержки кадра к задержке эталонного FPS. То есть, при 25 FPS задержка будет 1000/25=40 мс, и если мы получили кадр например за 80 мс, то к PTS нужно добавить 2: PTS+=(int) (80/40). Не знаю, нормально это или нет, но так запись длится ровно столько, сколько и съёмка, без опережения и с теми же таймингами кадров (хотя размер файла несколько увеличивается).

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.