0

Доброе утро или Добрый день/вечер!
Есть задача, связанная с обработкой аудио. Схема следующая: клиент запрашивает аудиофайл с сервера (аудиофайлы хранятся в формате flac), где с помощью ffmpeg(fluent-ffmpeg) происходит наложение на аудиоданные сторонних звуков (mix) и конвертация в mp3, все это добро записывается через stream в Buffer (для этого использую bufferstream), копия отправляется в redis для временного хранения, и после осуществляется возврат клиенту.

Проблема следующая: при попытке воспроизвести аудио с помощью expo на android-эмуляторе (exoplayer)/firefox возвращаются ошибки: exoplayer - не может определить extractors для чтения, firefox не может определить mime-type.

При дальнейшем изучении выяснил, что в Buffer с аудио mime-type является "application/octet-stream".


// не большой контроллер 
async function stream(
    request: Request,
    response: Response,
    next: NextFunction
  ) {
    const { range } = request.headers;
    const { backgroundSound, backgroundSoundVolume, setSound } = request.query;
    const id = "1";
    const audio = await play({
      audioId: id,
      backgroundAudioId: backgroundSound,
      volumeBackgroundAudio:
        backgroundSoundVolume: backgroundSoundVolume
    });
    let start = 0;
    let end = audio.byteLength - 1;
    if (range !== undefined) {
      const [startByte, endByte] = range.replace(/bytes=/, "").split("-") as [
        string,
        string?
      ];
      start = parseInt(startByte, 10);
      if (
        endByte !== undefined &&
        endByte!.length > 1 &&
        !isNaN(Number(endByte))
      )
        end = parseInt(endByte, 10);
      response.status(206).header({
        "Content-Length": end - start + 1,
        "Content-Range": `bytes ${start}-+${end}/${audio.byteLength}`,
      });
    } else {
      response.header({
        "Content-Length": audio.byteLength,
      });
    }
// Так я узнал про тип
    const { mime } = await getMimeType(audio);
    console.log(mime);
// ---
    response
      .setHeader("Accept-Ranges", "bytes")
      .setHeader("Content-Type", "audio/mpeg");
// а - ля передача аудио
    const stream = new Readable();
    stream._read = () => {};
    stream.push(audio.subarray(start, end));
    stream.push(null);
    stream.pipe(response);


async function play(args: {
    audioId: string;
    backgroundAudioId?: string;
    volumeBackgroundAudio?: number;
  }) {
    const { audioId, backgroundAudioId, volumeBackgroundAudio = 0 } = args;
/* тут логика для работы c redis и всякие проверки */
    const audio = await create(audioId, backgroundAudioId, volumeBackgroundAudio);
/* тут логика для работы c redis */
    return audio;
}

create(
    audioId: string,
    backgroundAudioId?: string,
    volumeBackgroundAudio?: number
  ) {
    const audio = new BufferStream({ size: "flexible" }); // Buffer в который будет происходить запись созданного ffmpeg аудио данных
    const command = ffmpeg();
    return new Bluebird<Buffer>((resolve, reject) => {
      command.input(`./files/audio/${audioId}.flac`);
      // Если необходимо добавить фоновую музыку, то накидываем еще пару данных для команд
      if (backgroundAudioId !== undefined) {
        command.input(`./files/audio/${backgroundAudioId}.flac`);
        if (volumeBackgroundAudio !== undefined) {
          command.complexFilter([
            `[1:a]volume=1[a0]`,
            `[0:a]volume=${volumeBackgroundAudio}[a1]`,
            `[a1][a0]amix=duration=shortest:normalize=0[a]`,
          ]);
        }
        command.addOption("-map", `[a]`);
      }
      command
        .addOption("-c:v", "copy")
        .format("mp3")
        .output(audio, { end: true })
        .on("end", () => {
          console.log("audio created successfully");
//после того как данные успешно аудио успешно создано возвращаем его
          resolve(audio.buffer);
        })
        .on("error", console.error)
        .run();
    });
  }

Использовал следующие библиотеки: fluent-ffmpeg, bufferstream, express js, bluebird
Репа с примером

Сейчас в течение 15 минут постараюсь прикрепить сам код, если это необходимо.
Так же из функций выше вырезано все лишнее (я на это надеюсь).

1
  • Как я понял проблема возникает, когда срабатывает сценарий при котором просто ffmpeg конвертирует flac в mp3 без каких либо фильтров(когда не передан запрос на добавление фоновой музыки)
    – HardKoT
    8 мар в 19:12

1 ответ 1

1

Не знаю в чем проблема, но при написание примера работы, все заработало. Как выяснил проблема в параметре, который что-то делает с кодаком... Проблема возникает, при необходимость просто перекодировать аудио


create(
    audioId: string,
    backgroundAudioId?: string,
    volumeBackgroundAudio?: number
  ) {
    const audio = new BufferStream({ size: "flexible" }); // Buffer в который будет происходить запись созданного ffmpeg аудио данных
    const command = ffmpeg();
    return new Bluebird<Buffer>((resolve, reject) => {
      command.input(`./files/audio/${audioId}.flac`);
      // Если необходимо добавить фоновую музыку, то накидываем еще пару данных для команд
      if (backgroundAudioId !== undefined) {
        command.input(`./files/audio/${backgroundAudioId}.flac`);
        if (volumeBackgroundAudio !== undefined) {
          command.complexFilter([
            `[1:a]volume=1[a0]`,
            `[0:a]volume=${volumeBackgroundAudio}[a1]`,
            `[a1][a0]amix=duration=shortest:normalize=0[a]`,
          ]);
        }
        command.addOption("-map", `[a]`);
      }
      command
        .addOption("-c:v", "copy") // Проблема в этой строчке если трек один слетает кодировка, не могу найти информацию об данном параметре, если кто подскажет что он делает буду очень признателен (я догадываюсь, что он что-то делает с кодаком)
        .format("mp3")
        .output(audio, { end: true })
        .on("end", () => {
          console.log("audio created successfully");
//после того как данные успешно аудио успешно создано возвращаем его
          resolve(audio.buffer);
        })
        .on("error", console.error)
        .run();
    });
  }

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.