2

Мне нужно написать нейросеть которая находит общий смысл между словами и выражает его кратко например:

Переноска для собак, водонепроницаемая сумка для собак, корзина, товары для домашних животных, безопасная переноска для дома, сумка для щенков, собачье автомобильное сиденье

to:

Автокресло для животных

База данных для обучения у меня есть. Все что остается это создать архитектуру нейросети , может у кто нибудь натыкался на статьи и туториалы по данной теме или кто то вообще знает как реализовать архитектуру, буду рад любой помощи!

2
  • 2
    Хм, а что общего - с точки зрения здрвого смысла - между "водонепроницаемой сумки" и "автокреслом"? Про то, что "безопасная переноска" - это вообще-то говоря из разряда электротоваров - я скромно умолчу.
    – passant
    Commented 23 июн. 2019 в 17:06
  • 2
    А если у вас есть наборы с общим смыслом и то, во что оно должно превратиться, то зачем вам нейросеть? Преобразуйте явно и все. PS: Нейросеть в моей голове не понимает, почему "переноска для собак" или "водонепроницаемая сумка для собак" или "корзина" - это Автокресло для животных
    – Viktorov
    Commented 23 июн. 2019 в 17:56

1 ответ 1

1
import sys
import numpy as np
import pickle
import re
from Stemmer import Stemmer
from sklearn.feature_extraction.text import TfidVectorizer
from sklearn.linear_model import SGDClassifier
from sklearn.pipeline import Pipeline
from sklearn.metrics import accuracy_score

def text_cleaner(text):
    text = text.lower()
    stemmer = Stemmer('russian')
    text = ' '.join( stemmer.stemWords(text.split() ) )
    text = re.sub( r'\b\d+\b', ' digit ', text )
    return text

def load_data():
    data = { 'text':[],'tag':[] }
    for line in open('learning.txt'):
        if(not('#' in line)):
            row = line.split("@")
            data['text'] += [row[0]]
            data['tag'] += [row[1]]
    return data

def train_test_split( data, validation_split = 0.1):
    sz = len(data['text'])
    indices = np.arange(sz)
    np.random.shuffle(indices)

    X = [ data['text'][i] for i in indices ]
    Y = [ data['tag'][i] for i in indices ]
    nb_validation_samples = int(validation_split * sz)
    return {
        'train': { 'x': X[:-
nb_validation_samples], 'y': Y[:-
nb_validation_samples] },
        'text': {'x': X[-
nb_validation_samples:], 'y': Y[-
nb_validation_samples:] }
    }

def openai():
    data = load_data()
    D = train_test_split( data )
    text_clf = Pipeline([
        ('tfidf',TfidVectorizer()),
        ('clf',SGDClassifier(loss='hinge')),
        ])
    text_clf.fit(D['train']['x'], D['train']['x'] )

    z=input('Введите слова через запятую и пробел: ')
    zz=[]
    zz.append(z)
    predicted = text_clf.predict(zz)
    print(predicted[0])

if __name__ == '__main__':
    sys.exit(openai())

создаёшь текстовик в той же директории, что и код, под названием
learning.txt туда заносишь обучающую базу по шаблону:

Запрос @ Правильный_ответ

by pythono.ru

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.