0

Доброе утро или Добрый день/вечер!
Есть задача, связанная с обработкой аудио. Схема следующая: клиент запрашивает аудиофайл с сервера (аудиофайлы хранятся в формате flac), где с помощью ffmpeg(fluent-ffmpeg) происходит наложение на аудиоданные сторонних звуков (mix) и конвертация в mp3, все это добро записывается через stream в Buffer (для этого использую bufferstream), копия отправляется в redis для временного хранения, и после осуществляется возврат клиенту.

Проблема следующая: при попытке воспроизвести аудио с помощью expo на android-эмуляторе (exoplayer)/firefox возвращаются ошибки: exoplayer - не может определить extractors для чтения, firefox не может определить mime-type.

При дальнейшем изучении выяснил, что в Buffer с аудио mime-type является "application/octet-stream".


// не большой контроллер 
async function stream(
    request: Request,
    response: Response,
    next: NextFunction
  ) {
    const { range } = request.headers;
    const { backgroundSound, backgroundSoundVolume, setSound } = request.query;
    const id = "1";
    const audio = await play({
      audioId: id,
      backgroundAudioId: backgroundSound,
      volumeBackgroundAudio:
        backgroundSoundVolume: backgroundSoundVolume
    });
    let start = 0;
    let end = audio.byteLength - 1;
    if (range !== undefined) {
      const [startByte, endByte] = range.replace(/bytes=/, "").split("-") as [
        string,
        string?
      ];
      start = parseInt(startByte, 10);
      if (
        endByte !== undefined &&
        endByte!.length > 1 &&
        !isNaN(Number(endByte))
      )
        end = parseInt(endByte, 10);
      response.status(206).header({
        "Content-Length": end - start + 1,
        "Content-Range": `bytes ${start}-+${end}/${audio.byteLength}`,
      });
    } else {
      response.header({
        "Content-Length": audio.byteLength,
      });
    }
// Так я узнал про тип
    const { mime } = await getMimeType(audio);
    console.log(mime);
// ---
    response
      .setHeader("Accept-Ranges", "bytes")
      .setHeader("Content-Type", "audio/mpeg");
// а - ля передача аудио
    const stream = new Readable();
    stream._read = () => {};
    stream.push(audio.subarray(start, end));
    stream.push(null);
    stream.pipe(response);


async function play(args: {
    audioId: string;
    backgroundAudioId?: string;
    volumeBackgroundAudio?: number;
  }) {
    const { audioId, backgroundAudioId, volumeBackgroundAudio = 0 } = args;
/* тут логика для работы c redis и всякие проверки */
    const audio = await create(audioId, backgroundAudioId, volumeBackgroundAudio);
/* тут логика для работы c redis */
    return audio;
}

create(
    audioId: string,
    backgroundAudioId?: string,
    volumeBackgroundAudio?: number
  ) {
    const audio = new BufferStream({ size: "flexible" }); // Buffer в который будет происходить запись созданного ffmpeg аудио данных
    const command = ffmpeg();
    return new Bluebird<Buffer>((resolve, reject) => {
      command.input(`./files/audio/${audioId}.flac`);
      // Если необходимо добавить фоновую музыку, то накидываем еще пару данных для команд
      if (backgroundAudioId !== undefined) {
        command.input(`./files/audio/${backgroundAudioId}.flac`);
        if (volumeBackgroundAudio !== undefined) {
          command.complexFilter([
            `[1:a]volume=1[a0]`,
            `[0:a]volume=${volumeBackgroundAudio}[a1]`,
            `[a1][a0]amix=duration=shortest:normalize=0[a]`,
          ]);
        }
        command.addOption("-map", `[a]`);
      }
      command
        .addOption("-c:v", "copy")
        .format("mp3")
        .output(audio, { end: true })
        .on("end", () => {
          console.log("audio created successfully");
//после того как данные успешно аудио успешно создано возвращаем его
          resolve(audio.buffer);
        })
        .on("error", console.error)
        .run();
    });
  }

Использовал следующие библиотеки: fluent-ffmpeg, bufferstream, express js, bluebird
Репа с примером

Сейчас в течение 15 минут постараюсь прикрепить сам код, если это необходимо.
Так же из функций выше вырезано все лишнее (я на это надеюсь).

1
  • Как я понял проблема возникает, когда срабатывает сценарий при котором просто ffmpeg конвертирует flac в mp3 без каких либо фильтров(когда не передан запрос на добавление фоновой музыки)
    – HardKoT
    Commented 8 мар. 2023 в 19:12

1 ответ 1

1

Не знаю в чем проблема, но при написание примера работы, все заработало. Как выяснил проблема в параметре, который что-то делает с кодаком... Проблема возникает, при необходимость просто перекодировать аудио


create(
    audioId: string,
    backgroundAudioId?: string,
    volumeBackgroundAudio?: number
  ) {
    const audio = new BufferStream({ size: "flexible" }); // Buffer в который будет происходить запись созданного ffmpeg аудио данных
    const command = ffmpeg();
    return new Bluebird<Buffer>((resolve, reject) => {
      command.input(`./files/audio/${audioId}.flac`);
      // Если необходимо добавить фоновую музыку, то накидываем еще пару данных для команд
      if (backgroundAudioId !== undefined) {
        command.input(`./files/audio/${backgroundAudioId}.flac`);
        if (volumeBackgroundAudio !== undefined) {
          command.complexFilter([
            `[1:a]volume=1[a0]`,
            `[0:a]volume=${volumeBackgroundAudio}[a1]`,
            `[a1][a0]amix=duration=shortest:normalize=0[a]`,
          ]);
        }
        command.addOption("-map", `[a]`);
      }
      command
        .addOption("-c:v", "copy") // Проблема в этой строчке если трек один слетает кодировка, не могу найти информацию об данном параметре, если кто подскажет что он делает буду очень признателен (я догадываюсь, что он что-то делает с кодаком)
        .format("mp3")
        .output(audio, { end: true })
        .on("end", () => {
          console.log("audio created successfully");
//после того как данные успешно аудио успешно создано возвращаем его
          resolve(audio.buffer);
        })
        .on("error", console.error)
        .run();
    });
  }

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.