Всем привет.
Я только недавно стал изучать программирование, на просторах интернета наткнулся на код простого классификатора вопросов и решил переработать его под определитель времён в английском языке, но столкнулся с проблемой после запуска этих функций мой код не выполняется
Прикрепляю эти функции:
def set_tense():
def text_cleaner(text):
text = text.lower() # refurbishment to lowercase
stemmer = Stemmer('russian')
text = ' '.join(stemmer.stemWords(text.split()))
text = re.sub(r'\b\d+\b', ' digit ', text) # change of digits
return text
# downloading data from a file
def load_data():
data = {'text': [], 'tag': []}
for line in open('times.txt'):
if not ('#' in line):
row = line.split("@")
data['text'] += [row[0]]
data['tag'] += [row[(len(row)) - 1]]
return data
# lerning
def train_test_split(data, validation_split=0.1):
sz = len(data['text'])
indices = np.arange(sz)
np.random.shuffle(indices)
X = [data['text'][i] for i in indices]
Y = [data['tag'][i] for i in indices]
nb_validation_samples = int(validation_split * sz)
return {
'train': {'x': X[:-nb_validation_samples], 'y': Y[:-nb_validation_samples]},
'test': {'x': X[-nb_validation_samples:], 'y': Y[-nb_validation_samples:]}
}
# - - - -
def openai():
data = load_data()
D = train_test_split(data)
text_clf = Pipeline([
('tfidf', TfidfVectorizer()),
('clf', SGDClassifier(loss='hinge')),
])
text_clf.fit(D['train']['x'], D['train']['y'])
predicted = text_clf.predict(D['train']['x'])
# Starting test a program
zz = []
zz.append(direct_speech)
predicted = text_clf.predict(zz)
predicted[0] = predicted[0][1:-1]
predicted[0] = str(predicted[0])
print(predicted[0])
return predicted[0]
# - - - -
if __name__ == '__main__':
sys.exit(openai())