Доброе утро или Добрый день/вечер!
Есть задача, связанная с обработкой аудио. Схема следующая: клиент запрашивает аудиофайл с сервера (аудиофайлы хранятся в формате flac), где с помощью ffmpeg(fluent-ffmpeg)
происходит наложение на аудиоданные сторонних звуков (mix) и конвертация в mp3, все это добро записывается через stream
в Buffer
(для этого использую bufferstream
), копия отправляется в redis
для временного хранения, и после осуществляется возврат клиенту.
Проблема следующая: при попытке воспроизвести аудио с помощью expo
на android-эмуляторе (exoplayer)/firefox возвращаются ошибки: exoplayer - не может определить extractors
для чтения, firefox не может определить mime-type
.
При дальнейшем изучении выяснил, что в Buffer
с аудио mime-type является "application/octet-stream".
// не большой контроллер
async function stream(
request: Request,
response: Response,
next: NextFunction
) {
const { range } = request.headers;
const { backgroundSound, backgroundSoundVolume, setSound } = request.query;
const id = "1";
const audio = await play({
audioId: id,
backgroundAudioId: backgroundSound,
volumeBackgroundAudio:
backgroundSoundVolume: backgroundSoundVolume
});
let start = 0;
let end = audio.byteLength - 1;
if (range !== undefined) {
const [startByte, endByte] = range.replace(/bytes=/, "").split("-") as [
string,
string?
];
start = parseInt(startByte, 10);
if (
endByte !== undefined &&
endByte!.length > 1 &&
!isNaN(Number(endByte))
)
end = parseInt(endByte, 10);
response.status(206).header({
"Content-Length": end - start + 1,
"Content-Range": `bytes ${start}-+${end}/${audio.byteLength}`,
});
} else {
response.header({
"Content-Length": audio.byteLength,
});
}
// Так я узнал про тип
const { mime } = await getMimeType(audio);
console.log(mime);
// ---
response
.setHeader("Accept-Ranges", "bytes")
.setHeader("Content-Type", "audio/mpeg");
// а - ля передача аудио
const stream = new Readable();
stream._read = () => {};
stream.push(audio.subarray(start, end));
stream.push(null);
stream.pipe(response);
async function play(args: {
audioId: string;
backgroundAudioId?: string;
volumeBackgroundAudio?: number;
}) {
const { audioId, backgroundAudioId, volumeBackgroundAudio = 0 } = args;
/* тут логика для работы c redis и всякие проверки */
const audio = await create(audioId, backgroundAudioId, volumeBackgroundAudio);
/* тут логика для работы c redis */
return audio;
}
create(
audioId: string,
backgroundAudioId?: string,
volumeBackgroundAudio?: number
) {
const audio = new BufferStream({ size: "flexible" }); // Buffer в который будет происходить запись созданного ffmpeg аудио данных
const command = ffmpeg();
return new Bluebird<Buffer>((resolve, reject) => {
command.input(`./files/audio/${audioId}.flac`);
// Если необходимо добавить фоновую музыку, то накидываем еще пару данных для команд
if (backgroundAudioId !== undefined) {
command.input(`./files/audio/${backgroundAudioId}.flac`);
if (volumeBackgroundAudio !== undefined) {
command.complexFilter([
`[1:a]volume=1[a0]`,
`[0:a]volume=${volumeBackgroundAudio}[a1]`,
`[a1][a0]amix=duration=shortest:normalize=0[a]`,
]);
}
command.addOption("-map", `[a]`);
}
command
.addOption("-c:v", "copy")
.format("mp3")
.output(audio, { end: true })
.on("end", () => {
console.log("audio created successfully");
//после того как данные успешно аудио успешно создано возвращаем его
resolve(audio.buffer);
})
.on("error", console.error)
.run();
});
}
Использовал следующие библиотеки: fluent-ffmpeg, bufferstream, express js, bluebird
Репа с примером
Сейчас в течение 15 минут постараюсь прикрепить сам код, если это необходимо.
Так же из функций выше вырезано все лишнее (я на это надеюсь).