0

Написал небольшую программу распознавания отдельных слов при помощи DTW.

В папке с программой лежит еще одна папка Data20dict, в которой вложены еще 20 папок с названиями голосовых команд (вставить, копировать, удалить и т.д.), в каждой из которых, в среднем, по 21 произношению (от 17 до 25 произношений в папке). Одно произношение - один звуковой файл в формате *.wav. Всего получается 437 произношений всех слов, записанных в формате *.wav.

Для алгоритма DTW пользуюсь модулем (DTW) (Dynamic Time Warping Python Module).

Ниже представлен код программы:

from numpy.linalg import norm
from dtw import dtw
import os
import timeit
import librosa
from sklearn.model_selection import train_test_split


DATA_PATH = './Data20dict/'
SAMPLE_RATE = 16000

train = dict()
test = dict()

#Читает все звуковые файлы из всех директорий
#и создает словарь из слов и их произношений
for path in sorted(os.listdir(DATA_PATH)):
    full_path = os.path.join(DATA_PATH, path)
    if os.path.isdir(full_path):
        class_name = path.upper()
        class_files = [os.path.join(full_path, f) for f in sorted(os.listdir(full_path))]
        waves = [librosa.load(file, sr=SAMPLE_RATE)[0] for file in class_files]
        train_waves, test_waves = train_test_split(waves, test_size=0.2)
        train[class_name] = train_waves
        test[class_name] = test_waves

train_mfccs = dict()
test_mfccs = dict()

#Все произношения раскладываются на mfcc матрицы
for class_name in train:
    mfccs = []
    for sound in train[class_name]:
        mfcc = librosa.feature.mfcc(y = sound, sr = SAMPLE_RATE, hop_length = 512, n_mfcc = 13)
        mfccs.append(mfcc)
    train_mfccs[class_name] = mfccs

    mfccs = []
    for sound in test[class_name]:
        mfcc = librosa.feature.mfcc(y = sound, sr = SAMPLE_RATE, hop_length = 512, n_mfcc = 13)
        mfccs.append(mfcc)
    test_mfccs[class_name] = mfccs

#Каждое произношение из тестовой выборки сравнивается
#со всеми произношениями из обучающей выборки   
correct_hmm = 0
correct_dtw = 0
total = 0
a = timeit.default_timer() 
for key_test, val_test in test_mfccs.items():
    for test_words in val_test:
        total += 1
        max_dist = [float("inf")]
        for key_train, val_train in train_mfccs.items():
            for train_words in val_train:
                dist, _, _, _ = dtw(test_words.T, train_words.T, dist=lambda x, y: norm(x - y, ord=1))
                if dist < max_dist:
                    max_dist = dist
                    output_label_dtw = key_train
        if key_test == output_label_dtw:
            correct_dtw += 1

dtw_time = timeit.default_timer() - a
print('\nКоличество слов в тестовой выборке: {}'.format(total))
print('\nDTW: Верно распознано {} из {} тестовых слов'.format(correct_dtw, total))
percent_correct_dtw = round((correct_dtw/total * 100.0),2)
print('\nDTW: Процент распознавания: ', percent_correct_dtw)
print('\nDTW: Затраченное время на распознавание: ', dtw_time, 'секунд')

В итоге результаты работы примерно следующие:

1 вариант:
Количество слов в тестовой выборке: 34
DTW: Верно распознано 31 из 34 тестовых слов
DTW: Процент распознавания: 91.18
DTW: Затраченное время на распознавание: 37.73047312543349 секунд

2 вариант:
Количество слов в тестовой выборке: 97
DTW: Верно распознано 96 из 97 тестовых слов
DTW: Процент распознавания: 98.97
DTW: Затраченное время на распознавание: 384.3671420063365 секунд

Если есть у кого-то идеи, что может тормозить работу, или кто знает как улучшить алгоритм (может добавить ближайших соседей или как-нибудь еще), поделитесь знаниями.

1
  • В общем решил проблему. В дополнение к функции dtw еще импортирую fastdtw, и вместо строчки с расчетом норм вставляю следующую строку: dist, _, _, _ = fastdtw(test_words.T, train_words.T, 'euclidean'). В итоге с 384 секунд программа выполняется за 49 секунд, что уже вполне неплохо.
    – R0stislav
    24 мая 2018 в 12:05

1 ответ 1

1

В общем как подсказали, помогло профилирование, там понял в чем была проблема. Она заключалась в расчете лямбд (евклидова расстояния) в функции dtw(). В общем вместо него импортируем fastdtw и меняем:
dist, _, _, _ = dtw(mfcctest.T, mfcctrain.T, dist=lambda x, y: norm(x - y, ord=1))
На:

dist, _, _, _ = fastdtw(test_words, train_words.T, 'euclidean')

Расчет стал производиться почти в 8 раз быстрее. Это помогло.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.