Как выявлять среди набора векторов максимально похожие?
Мне нужно обнаруживать устойчивые и повторяющиеся паттерны среди всего набора векторов, чтобы на них обучать уже сеть. Таким образом хочу построить наиболее корректный датасет исключив из обучения случайные вбросы, признавая неповторяющиеся вектора шумом. Обнаружив что вектор не повторяется, я должен установить целевое значение = 0 (это первый символ в строке).
Пример датасета выложил по ссылке: https://drive.google.com/file/d/1bVp5m852g9G3rt-VUvwhA5l-Jsrxy5wd/view?usp=sharing (По аналогии с MNIST, первое значение в строке является целевым.)
P.S. Я пробовал обучить один персептрон и прогнать по всем векторам. Там где он активируется считал вектора похожими. Но что-то пошло не так. Он почти на всех векторах срабатывает.
Пробовал также вычислять расстояние джаккарда, но не уверен что это правильное применение. Вот пример кода:
# Расстояние джаккарда
import scipy.spatial.distance as dist
distance=[]
for index, row in df.iterrows():
if df.iloc[index,0] != bws:
list1 = list(row[1:])
for index2, row2 in df.iloc[index+1:,1:].iterrows():
if df.iloc[index2,0] != bws:
list2 = list(row2)
distance.append(dist.pdist([list1,list2], 'jaccard'))
print('длина массива:', len(distance), '\tmax:', max(distance), '\tmin:', min(distance), '\tmean:', np.mean(distance))