0

День добрый!
Пишу захват видео и звука средствами ffmpeg с последующей передачей через rtsp. На другой стороне воспроизвожу через:
ffplay -rtsp_flags listen -rtsp_transport tcp rtsp://127.0.0.1:5010/live.sdp.
В итоге видео воспроизводится отлично, практически без задержки, звук синхронизирован, но постоянно заикается и вываливается на передающем конце:

*Input #0, video4linux2,v4l2, from '/dev/video0':  
  Duration: N/A, start: 820.460825, bitrate: 147456 kb/s  
    Stream #0:0: Video: rawvideo (YUY2 / 0x32595559), yuyv422, 640x480, 147456 kb/s, 30 fps, 30 tbr, 1000k tbn, 1000k tbc  
Input #0, alsa, from 'plughw:0,0':  
  Duration: N/A, start: 1489589531.994862, bitrate: 1536 kb/s  
    Stream #0:0: Audio: pcm_s16le, 48000 Hz, 2 channels, s16, 1536 kb/s  
[libx264 @ 0x61d480] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX  
[libx264 @ 0x61d480] profile Constrained Baseline, level 3.1  
[libx264 @ 0x61d480] 264 - core 142 r2389 956c8d8 - H.264/MPEG-4 AVC codec - Copyleft 2003-2014 - http://www.videolan.org/x264.html 

-options: cabac=0 ref=1 deblock=0:0:0 analyse=0:0 me=dia subme=0 psy=1 psy_rd=1.00:0.00 mixed_ref=0 me_range=16 chroma_me=1 trellis=0 8x8dct=0
 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=0 threads=4 lookahead_threads=4 sliced_threads=1 slices=4 nr=0 decimate=1 interlaced=0
 bluray_compat=0   constrained_intra=0 bframes=0 weightp=0 keyint=12 keyint_min=1 scenecut=0 intra_refresh=0 rc=crf mbtree=0crf=20.0 qcomp=0.60
 qpmin=0 qpmax=69 qpstep=4   ip_ratio=1.40 aq=0  
    Output #0, rtsp, to 'rtsp://127.0.0.1:5010/live.sdp':  
        Stream #0:0: Unknown: none (libx264)  
        Stream #0:1: Unknown: none (aac)  
    [rtsp @ 0x61b700] Using AVStream.codec to pass codec parameters to muxers is deprecated, use AVStream.codecpar instead.  
    [rtsp @ 0x61b700] Using AVStream.codec to pass codec parameters to muxers is deprecated, use AVStream.codecpar instead.  
    [alsa @ 0x608b40] ALSA buffer xrun.   
    [alsa @ 0x608b40] ALSA buffer xrun.  
    [alsa @ 0x608b40] ALSA buffer xrun.  
    [alsa @ 0x608b40] ALSA buffer xrun.  
    [alsa @ 0x608b40] ALSA buffer xrun.  
    [alsa @ 0x608b40] ALSA buffer xrun.*  

А на принимающем:

*ffplay version 3.2.2 Copyright (c) 2003-2016 the FFmpeg developers
  built with gcc 4.7 (Debian 4.7.2-5)  
  configuration: --prefix=/usr/local --enable-shared --enable-ffplay --enable-libx264 --enable-gpl --disable-nvenc  
  libavutil      55. 34.100 / 55. 34.100  
  libavcodec     57. 64.101 / 57. 64.101  
  libavformat    57. 56.100 / 57. 56.100  
  libavdevice    57.  1.100 / 57.  1.100  
  libavfilter     6. 65.100 /  6. 65.100  
  libswscale      4.  2.100 /  4.  2.100  
  libswresample   2.  3.100 /  2.  3.100  
  libpostproc    54.  1.100 / 54.  1.100  
Input #0, rtsp, from 'rtsp://127.0.0.1:5010/live.sdp':   0B f=0/0  
  Metadata:  
    title           : No Name  
  Duration: N/A, start: -0.048005, bitrate: N/A  
    Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 800x600, 25 fps, 25 tbr, 90k tbn, 50 tbc  
    Stream #0:1: Audio: aac (LC), 44100 Hz, stereo, fltp  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred  0B f=1/1  
   4.12 A-V:  0.142 fd=   1 aq=    0KB vq=    0KB sq=    0B f=1/1* 

Подскажите пожалуйста в чем может быть проблема?

И снова здравствуйте!
Разделил передачу аудио и видео разными потоками по RTP ....

.......
pthread_create(video_thread, NULL, video_thread_streaming, (void*)&video_info);
            pthread_join(*video_thread, NULL);
            encode_video = video_info.write_result;
.......
pthread_create(audio_thread, NULL, audio_thread_streaming, (void*)&audio_info);
            pthread_join(*audio_thread, NULL);
            encode_audio = audio_info.write_result;
......  

на принимающей стороне:

ffplay -protocol_whitelist file,udp,rtp video.sdp | ffplay -protocol_whitelist file,udp,rtp audio.sdp

результаты те же... (((( ... сыпится "ALSA buffer xrun"!!!

Заметил очень интересную вещь:
Если освещение в помещении хорошее, эта ошибка не появляется и передача и воспроизведение происходит великолепно в обоих случаях (rtsp & rtp) с задержкой где-то порядка 1 секунды. Если же света недостаточно, то сыпится "ALSA buffer xrun", причем при чтении пакета из аудио потока (контекста):

static int decode_audio_frame(AVFrame **frame,
                              InputStream *input_audio_st,
                              int *data_present)
{
    AVPacket input_packet;
    int error;
    init_packet(&input_packet);
 ......

    av_read_frame(input_audio_st->inp_fctx, &input_packet) - **вот здесь сыпится ALSA**
  .......

    avcodec_decode_audio4(input_audio_st->st->codec, *frame,
                                       data_present, &input_packet)
  .......
    return 0;
}

Есть какие-нибудь идеи по этому поводу???

И вот еще что. Если уменьшаю количество кадров исходящего видео до 15, ошибка перестает сыпаться. А в коде это соответственно timebase = (1, 15) OutputCodecContext. Никак не могу сообразить как все это связано.....

2 ответа 2

1

Сделай буффера (-rtbufsize) побольше на стороне читателя из ALSA или порегулирую размер очереди (-thread_queue_size) для пакетов (начни с 1024) - это увеличит задержку, но может оказаться неплохим демпфером.

Звук RealTime и для него задержки, которые вносит сеть очень критичны. Ещё можно попробовать RT-ядро. В Ubuntu-based это ядра linux-image-lowlatency, а во всяких Manjaro - linux-rt-manjaro.

Но, вообще, пока эта проблема общего решения не имеет: FFmpeg внутри достаточно последовательный и синхронный. К примеру тут одно из решений проблемы: запись звука и видео двумя независимыми процессами. Но для RTSP это не вариант.

1
  • добавлял эти опции: av_dict_set(&optionsDict, "rtbufsize", "15000000", 0); av_dict_set(&optionsDict, "thread_queue_size", "2048", 0); и затем avformat_open_input(&input_st->inp_fctx, filename, fmt, &optionsDict) при чтении звука, результат тот-же. 30 мар 2017 в 7:18
0

Я столкнулся с такой же проблемой - при изменении освещенности сыпется звук. Положим, что увеличение буфера лишь маскирует положение (ffmpeg -loglevel verbose перестает сыпать xrun), но заикания и/или полное исчезновение звука в стриме это не решает. Когда я пытался заменить ffmpeg на vlc, для его корректной работы (vlc) требовалось установить pulseaudio. vlc на orangePiZero2 не вывез в плане транскодирования и был удален. Так вот, после устнановки пульса бага с освещением перестала беспокоить совсем, а после запуска ffmpeg через конфиг rtsp-simple-server ушел и небольшой, но неприятный audiodrift.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.