Здравствуйте!
# ----#
# количество классов для обучения
class_total = 0
# лист классов
class_list = []
# количество файлов в каждой папке для обучения
files_total = 100
# лист файлов
files = []
files2 = []
# файлов загружено в словарь
file_num = 0
# классов загружено в словарь
class_num = 0
#print("Введите количество классов: ")
#class_total = int(input())
class_total = 2
classes_written = 0
# while classes_written < class_total:
# print("Введите класс номер " + str(classes_written + 1) + ": ")
# class_list.append(input())
# classes_written += 1
class_list.append('cpp')
class_list.append('python')
file_num = 0
while file_num < files_total:
if os.path.isfile('O:/categories/' + class_list[class_num] + '/article_' + str(file_num) + '.htm'):
current_file = open('O:/categories/' + class_list[class_num] + '/article_' + str(file_num) + '.htm', "r")
line = current_file.read()
trantab = line.maketrans(string.punctuation, ' ' * len(string.punctuation))
r = line
tokens = r.lower().translate(trantab)
files.append(tokens)
file_num += 1
input_files = {f:class_list[class_num] for f in files}
count_vectorizer = CountVectorizer()
counts = count_vectorizer.fit_transform(input_files.values())
classifier = MultinomialNB()
targets = input_files.values()
classifier.fit(counts, targets)
Это моя попытка обучения по загруженным текстам из папки. Сначала они загружаются строками, из них удаляются знаки препинания, после чего векторизуются.
Задача в общем состоит в том, что есть большой список выпарсенных вопросов со stackoverflow по разным языкам программирования, и необходимо классифицировать этот список по ним, распределив по папкам с соответствующими названиями.
При попытке самого обучения (последняя строка) получаю ошибку следующего содержания:
Traceback (most recent call last):
File "C:\Program Files (x86)\JetBrains\PyCharm Community Edition 2016.3.2\helpers\pydev\pydevd.py", line 1596, in <module>
globals = debugger.run(setup['file'], None, None, is_module)
File "C:\Program Files (x86)\JetBrains\PyCharm Community Edition 2016.3.2\helpers\pydev\pydevd.py", line 974, in run
pydev_imports.execfile(file, globals, locals) # execute the script
File "C:\Program Files (x86)\JetBrains\PyCharm Community Edition 2016.3.2\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
exec(compile(contents+"\n", file, 'exec'), glob, loc)
File "C:/Users/Андрей/PycharmProjects/test/test.py", line 91, in <module>
classifier.fit(counts, targets)
File "D:\Program Files\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\site-packages\sklearn\naive_bayes.py", line 562, in fit
X, y = check_X_y(X, y, 'csr')
File "D:\Program Files\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\site-packages\sklearn\utils\validation.py", line 526, in check_X_y
y = column_or_1d(y, warn=True)
File "D:\Program Files\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\site-packages\sklearn\utils\validation.py", line 562, in column_or_1d
raise ValueError("bad input shape {0}".format(shape))
ValueError: bad input shape ()
У меня есть такие вопросы:
- Как правильно пользоваться fit в данном контексте?
- fit должен получать на вход обучающие выборки всех типов сразу (и cpp, и python) или что-то одно?
counts
?