0

Нужны библиотеки или примеры работы, в следующей теме:
Есть база данных с аудио файлами в mp3, на вход программы должен подаваться сторонний аудио файл в том же формате, программа должна пробегаться по файлам в базе, и возвращать(на екран в файл не важно куда) в процентах степень соответствия файлам которые находятся в базе. Например на вход подают

test.mp3 

программа должна вернуть например

base1.mp3 сходство 50%
base2.mp3 сходство 20%
base3.mp3 сходство 30%

и так далее сходство должно определяться по содержимому файлов(как в программах поиска песни).

Со звуком никогда не работал даже не знаю с чего начать и как сделать, в интернете полно всякой сухой теории но как применить не понимаю, возможно есть библиотеки которые работают со звуком, и алгоритмы в которых данные библиотеки будут применяться для вывода степени соответствия.

3
  • 1
    Что вы под "сходством" понимаете? 1- К примеру, если я мелодию напою, то должна ли программа найти песню (с оригинальным исполнителем). 2- Что в base1.mp3, base2.mp3 итд хранится? Фиксированные команды типа hey, siri? Произвольный текст? Один известный диктор? 3- Шум хотите классифицировать? (птицы поют, грузовик проехал, собаки лают)
    – jfs
    14 ноя 2017 в 10:40
  • 1. Не должна, заранее известно что входной файл будет либо песня либо аудио дорожка с клипа. 2. в base1.mp3, base2.mp3 хранятся такие же песни или аудио дорожки полученные с клипа. текст если можно то было бы здорово распознать, но пока просто нужно в процентах выводить процент соответствия как это проверить и не знаю, по длине не подходит так как например песни могут быть разные по длине
    – Jon Helps
    14 ноя 2017 в 12:57
  • чтобы определить песню по содержимому, есть acoustid.org Для своей базы, можно acoustid.fingerprint_file() использовать, чтобы получить отпечатки для mp3.
    – jfs
    17 ноя 2017 в 7:56

2 ответа 2

1

По мотивам телеги на хабре 2017 года

  1. Переводм песенку в спектр. Для этого
  • нарезаем на кусочки по 512 сэмплов (чем больше, тем точнее и медленнее),
  • каждому кусочку делаем FFT
  • находим модули значений FFT
  • зеркальную половинку выбрасываем долой

Получаем 256 значений. Эти 256 значений рисуем вертикальной полоской пикселей, яркость пикселя определяется значением.

потом берем еще 256 сэмплов и делаем то же самое. Полоски пикселей клеим встык.

  1. Получилась 2D ч/б картиночка, а алгоритмов сравнения картиночек можно найти вагон
  • можно сравнивать нейросетями
  • можно использовать feature-based методы типа SIFT/RANSAC
0

А если получать амплитуду (уровни громкости) для каждого шага звукового потока, затем сравнивать эти значения для двух разных потоков? То есть:

  1. mp3 -> wav
  2. получение уровней громкости в массив, например, так:
__int64 Count = BASS_ChannelGetLength(stream, BASS_POS_BYTE);
    Double PosMus(0.0);
    Double LenMus = BASS_ChannelBytes2Seconds(stream, Count);
    Double BytePos(0.0);    
while(PosMus < LenMus) // пока не достигнем конца звучания
    {
        BytePos = BASS_ChannelSeconds2Bytes(stream, Pos); // позиция в байтах
        BASS_ChannelSetPosition(stream, BytePos, BASS_POS_BYTE);
        Нам нужно значение HIWORD(BASS_ChannelGetLevel(stream)) - вот его и берем в массив
        PosMus += 0.01; //Шагаем по потоку с шагом 10 мс
    }
  1. сравнение двух массивов.

Конечно, в лоб сравнить не получится: нужно вводить нормирование по общему уровню громкости, сравнивать pitch, длительность и т.п.

1
  • Абсолютная громкость - не очень хорошо, громкость может различаться. Если только её изменение как-то смотреть.
    – CrazyElf
    3 сен 2022 в 8:09

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.