День добрый!
Пишу захват видео и звука средствами ffmpeg с последующей передачей через rtsp. На другой стороне воспроизвожу через:
ffplay -rtsp_flags listen -rtsp_transport tcp rtsp://127.0.0.1:5010/live.sdp.
В итоге видео воспроизводится отлично, практически без задержки, звук синхронизирован, но постоянно заикается и вываливается на передающем конце:
*Input #0, video4linux2,v4l2, from '/dev/video0':
Duration: N/A, start: 820.460825, bitrate: 147456 kb/s
Stream #0:0: Video: rawvideo (YUY2 / 0x32595559), yuyv422, 640x480, 147456 kb/s, 30 fps, 30 tbr, 1000k tbn, 1000k tbc
Input #0, alsa, from 'plughw:0,0':
Duration: N/A, start: 1489589531.994862, bitrate: 1536 kb/s
Stream #0:0: Audio: pcm_s16le, 48000 Hz, 2 channels, s16, 1536 kb/s
[libx264 @ 0x61d480] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX
[libx264 @ 0x61d480] profile Constrained Baseline, level 3.1
[libx264 @ 0x61d480] 264 - core 142 r2389 956c8d8 - H.264/MPEG-4 AVC codec - Copyleft 2003-2014 - http://www.videolan.org/x264.html
-options: cabac=0 ref=1 deblock=0:0:0 analyse=0:0 me=dia subme=0 psy=1 psy_rd=1.00:0.00 mixed_ref=0 me_range=16 chroma_me=1 trellis=0 8x8dct=0
cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=0 threads=4 lookahead_threads=4 sliced_threads=1 slices=4 nr=0 decimate=1 interlaced=0
bluray_compat=0 constrained_intra=0 bframes=0 weightp=0 keyint=12 keyint_min=1 scenecut=0 intra_refresh=0 rc=crf mbtree=0crf=20.0 qcomp=0.60
qpmin=0 qpmax=69 qpstep=4 ip_ratio=1.40 aq=0
Output #0, rtsp, to 'rtsp://127.0.0.1:5010/live.sdp':
Stream #0:0: Unknown: none (libx264)
Stream #0:1: Unknown: none (aac)
[rtsp @ 0x61b700] Using AVStream.codec to pass codec parameters to muxers is deprecated, use AVStream.codecpar instead.
[rtsp @ 0x61b700] Using AVStream.codec to pass codec parameters to muxers is deprecated, use AVStream.codecpar instead.
[alsa @ 0x608b40] ALSA buffer xrun.
[alsa @ 0x608b40] ALSA buffer xrun.
[alsa @ 0x608b40] ALSA buffer xrun.
[alsa @ 0x608b40] ALSA buffer xrun.
[alsa @ 0x608b40] ALSA buffer xrun.
[alsa @ 0x608b40] ALSA buffer xrun.*
А на принимающем:
*ffplay version 3.2.2 Copyright (c) 2003-2016 the FFmpeg developers
built with gcc 4.7 (Debian 4.7.2-5)
configuration: --prefix=/usr/local --enable-shared --enable-ffplay --enable-libx264 --enable-gpl --disable-nvenc
libavutil 55. 34.100 / 55. 34.100
libavcodec 57. 64.101 / 57. 64.101
libavformat 57. 56.100 / 57. 56.100
libavdevice 57. 1.100 / 57. 1.100
libavfilter 6. 65.100 / 6. 65.100
libswscale 4. 2.100 / 4. 2.100
libswresample 2. 3.100 / 2. 3.100
libpostproc 54. 1.100 / 54. 1.100
Input #0, rtsp, from 'rtsp://127.0.0.1:5010/live.sdp': 0B f=0/0
Metadata:
title : No Name
Duration: N/A, start: -0.048005, bitrate: N/A
Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 800x600, 25 fps, 25 tbr, 90k tbn, 50 tbc
Stream #0:1: Audio: aac (LC), 44100 Hz, stereo, fltp
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
ALSA lib pcm.c:7339:(snd_pcm_recover) underrun occurred 0B f=1/1
4.12 A-V: 0.142 fd= 1 aq= 0KB vq= 0KB sq= 0B f=1/1*
Подскажите пожалуйста в чем может быть проблема?
И снова здравствуйте!
Разделил передачу аудио и видео разными потоками по RTP ....
.......
pthread_create(video_thread, NULL, video_thread_streaming, (void*)&video_info);
pthread_join(*video_thread, NULL);
encode_video = video_info.write_result;
.......
pthread_create(audio_thread, NULL, audio_thread_streaming, (void*)&audio_info);
pthread_join(*audio_thread, NULL);
encode_audio = audio_info.write_result;
......
на принимающей стороне:
ffplay -protocol_whitelist file,udp,rtp video.sdp | ffplay -protocol_whitelist file,udp,rtp audio.sdp
результаты те же... (((( ... сыпится "ALSA buffer xrun"!!!
Заметил очень интересную вещь:
Если освещение в помещении хорошее, эта ошибка не появляется и передача и воспроизведение происходит великолепно в обоих случаях (rtsp & rtp) с задержкой где-то порядка 1 секунды. Если же света недостаточно, то сыпится "ALSA buffer xrun", причем при чтении пакета из аудио потока (контекста):
static int decode_audio_frame(AVFrame **frame,
InputStream *input_audio_st,
int *data_present)
{
AVPacket input_packet;
int error;
init_packet(&input_packet);
......
av_read_frame(input_audio_st->inp_fctx, &input_packet) - **вот здесь сыпится ALSA**
.......
avcodec_decode_audio4(input_audio_st->st->codec, *frame,
data_present, &input_packet)
.......
return 0;
}
Есть какие-нибудь идеи по этому поводу???
И вот еще что. Если уменьшаю количество кадров исходящего видео до 15, ошибка перестает сыпаться. А в коде это соответственно timebase = (1, 15) OutputCodecContext. Никак не могу сообразить как все это связано.....