4

У меня вопрос по БПФ звукового сигнала. Я хочу нарисовать график на основе звукового сигнала. Но я не силен в этой теме. Хочу совета у опытных товарищей с чего начать.

У меня несколько вопросов: 1) Что такое samples (семплы)? Например при использовании мультимедийной библиотеки SFML для получения семплов используется следующая конструкция:

sf::Buffer Buffer;
Buffer.loadFromFile("sound.wav");
const sf::Int16 *input = Buffer.getSamples();

Так вот я так понимаю семплы это бинарное представление звукового файла? Я правильно понимаю, что вышепредставленный код, это тоже самое что и:

    typedef short int16;
    int16 *load()
    {
      FILE  *fp;
      if((fp=fopen("sound.wav", "rb"))==NULL) {
        printf("Ошибка при открытии файла.\n");
      }
      fseek(fp, 0, SEEK_END);
      long N = ftell(fp);
      fseek(fp, 0, SEEK_SET);
      int16 *A = new int16[N];
      for(i=0; i<N; i++)
        if(fread(A[i],
           sizeof(A), 1, fp)!=1) {
             if(feof(fp)) break;
             printf("Ошибка при чтении файла.\n");
        }

      fclose(fp);
      return A;
    }

    int16 *input = load(); 

Т.е. получить семплы, это тоже самое что получить бинарное представление файла в 16-битовом типе? Или я неправильно понимаю?

2) Вопрос 2: я знаю, что для БПФ существует быстрая библиотека FFTW. Также в викиучебнике есть реализация алгоритма БПФ на C++ (ссылка алгоритм: https://ru.wikibooks.org/wiki/Реализации_алгоритмов/Быстрое_преобразование_Фурье#C.2B.2B). Вопрос в следующем, что именно подается на вход в этом алгоритме? Массив с бинарным представлением файла, или семплы, взятые с помощью SFML? В данном алгоритме предполагается, что в качестве параметров передается массив с анализируемыми данными и массив с преобразованными данными. В качестве анализируемых данных что подразумевается? И что делать если размер массива не равен степени двойки? Это обязательное условие? Я так понимаю, что в приведенный по ссылке алгоритм дается полученный массив семплово, только преобразованный в double?

int16 *input[N];
double *in = new double[N];
in = input;
double *out = new double[N];
void FFTAnalysis(in, out, N, N)

В этом примере, я так понимаю N - это рамзер массива семплов, т.е. sizeof(input);

В той же библиотеке SFML количество семплов находится так:

unsigned long long N = Buffer.getSampleCount();

Еще я не понимаю почему размер массива семплов не равен количеству семплов, например, когда я делаю так:

sf::Buffer Buffer;
Buffer.loadFromFile("sound.wav");
unsigned long long N = Buffer.getSampleCount();
const sf::Int16 *raw = new sf::Int16[N];
raw = Buffer.getSamples();
printf("%hu", sizeof(raw));// == 4 - почему?, если N шестизначное 

В функцию: void FFTAnalysis(in, out, N, N) передаются массив анализируемых данных, и массив куда преобразованные данные записываются (double in и double out). А N - это размер этих массивов (количество семплов). Так вот по условию N всегда должно быть кратно степени двойки. А как быть если количество семплов не кратно степени двойки?

3) Когда мы получим массив преобразованных данных, на основе каких данных рисовать график? В качестве координат ее вершин (точек) брать мнимую часть спектра (т.е. элементы массива преобразованных данных) или спектр мощности? Другими словами, набор каких данных брать за координаты точек синусойды?

Должен получиться график, но я не пойму что брать за координаты точек? Когда я с помощью библиотеки SFML получаю количество семплов и сами семплы, и вывожу их в цикле через printf("%hu", raw[i]); в консоль, то я там вижу практически одни нули с редкими единицами. Как на основе этих данных можно нарисовать какую либо фигуру? значит семплы нужно предварительно обрабатывать прежде чем брать их за координаты точек?

6
  • Что-то странное в самой постановке задачи... "Я хочу нарисовать синусоиду на основе звукового сигнала". Исходный звуковой сигнал чем является? Тоже синусоидой? Тогда зачем БПФ? БПФ от синусоиды дает одну "палку" в спектре. Если это реальный звуковой сигнал, то там "много чего", но БПФ от него крайне редко похож на синусоиду.
    – Alex Titov
    23 окт 2017 в 10:55
  • Ну хорошо, пусть это будет не синусойда. Я ведь говорю: не силен) Я хочу сделать волну, фигуру... не важно что там получится. Главное я хочу графически изобразить звуковой сигнал. Построить график или что там строится спектра. В целом, как рисовать я примерно представляю. Я для этих целей и собираюсь использовать SFML, через цикл с помощью массива вершин. Мне важно понимать что нужно использовать в качестве входных параметров для отрисовки сигнала
    – ZeusBios
    23 окт 2017 в 11:14
  • Ну звуковой сигнал - это то, что в файле wav. Я с библиотекой не работал, но сэмплы - это должны быть точки сигнала, т.е. собственно звуковой сигнал - это и есть линия по этим точкам (без какого-либо БПФ). В случае однотонного звука это и будет синусоида.
    – Alex Titov
    23 окт 2017 в 11:26
  • Ну семпл ведь одно значение 16-битовое. А в системе координат как минимум есть x и y, что в таком случае принимать за x, а что за y?
    – ZeusBios
    23 окт 2017 в 12:14
  • Там, если я правильно понял, много семплов. Это х, а номер семпла - y, который на самом деле с каким-то коэффициентом t (время).
    – Alex Titov
    23 окт 2017 в 12:28

1 ответ 1

1

Если речь идет о несжатом звуковом файле, то семпл - это отсчет, полученный при оцифровке сигнала, т.е. просто мгновенное значение амплитуды аналогового сигнала. По этим отсчетам можно построить вашу "синусойду", т.е. представление сигнала во временной области. БПФ же, это быстрое преобразование Фурье, выполнив его мы получаем отображение сигнала в частотной области (разложение сигнала по частотам). Как реализована конкретная библиотека я не знаю, но для алгоритма БПФ необходима кратность 2. Хотя можно и нолики в конце дописать, ну да ладно, это уже ЦОС. Рекомендую вам для начала ознакомится с теоретической стороной вопроса, чтобы четко понимать, что вы делаете. Успехов)

7
  • Допустим я с помощью библиотеки SFML получил количество семплов, сами семплы, получил частоту, получил полную продолжительность звука. Затем с помощью библиотеки FFTW осуществил БПФ массива семплов. На выходи получил три массива: массив семплов, массив с преобразованными данными и массив с массив спектра мощности сигнала. Имея эти значения что мне брать за координаты точек, чтобы визуализировать звук? Что брать за X и что за Y?
    – ZeusBios
    24 окт 2017 в 1:40
  • Значение элемента в массиве - это "у" , а его номер - "х". Номер элемента необходимо привести к требуемой шкале, например в случае отображения сигнала во временной области (массив семплов) имеем в 1 секунде количество семплов равное частоте дискретизации, т. е. цена деления 1/fs. То же самое и с частотной областью, только там оперируем понятиями полоса, которая равна половине частоты дискретизации и бин (элемент массива ). 24 окт 2017 в 5:26
  • Ну хорошо. Более менее понятно. Частота равна 44 100. Значит по Y - значение элемента, X - его порядковый номер в массиве, шаг (цена деления 1/44 100). Только не понятно теперь со значением элемента. Я выводил массив семплов через printf("%hu", raw[i]); там в нем одни нули практически и изредка единицы появляются. Так тогда на графике прямая будет? Ну так ведь не может быть, если это реальный музыкальный файл, песня.
    – ZeusBios
    24 окт 2017 в 6:49
  • Я не видел ваш файл. Здесь не надо забывать еще и про канальность, чтобы отсчеты не получились из разных каналов, для начала я бы пробовал на одноканальной записи. А сам файл во временной области можно посмотреть в каком-нибудь аудиоредакторе, например Audacity, чтобы понимать, что должно получиться. 24 окт 2017 в 7:09
  • Да, канал там один.
    – ZeusBios
    24 окт 2017 в 7:13

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.