0

Здравствуйте!

# ----#
# количество классов для обучения
class_total = 0
# лист классов
class_list = []
# количество файлов в каждой папке для обучения
files_total = 100
# лист файлов
files = []
files2 = []
# файлов загружено в словарь
file_num = 0
# классов загружено в словарь
class_num = 0

#print("Введите количество классов: ")
#class_total = int(input())
class_total = 2

classes_written = 0
# while classes_written < class_total:
#     print("Введите класс номер " + str(classes_written + 1) + ": ")
#     class_list.append(input())
#     classes_written += 1
class_list.append('cpp')
class_list.append('python')



file_num = 0
while file_num < files_total:
    if os.path.isfile('O:/categories/' + class_list[class_num] + '/article_' + str(file_num) + '.htm'):
        current_file = open('O:/categories/' + class_list[class_num] + '/article_' + str(file_num) + '.htm', "r")

        line = current_file.read()
        trantab = line.maketrans(string.punctuation, ' ' * len(string.punctuation))
        r = line
        tokens = r.lower().translate(trantab)
        files.append(tokens)
    file_num += 1


input_files = {f:class_list[class_num] for f in files}



count_vectorizer = CountVectorizer()
counts = count_vectorizer.fit_transform(input_files.values())

classifier = MultinomialNB()
targets = input_files.values()

classifier.fit(counts, targets)

Это моя попытка обучения по загруженным текстам из папки. Сначала они загружаются строками, из них удаляются знаки препинания, после чего векторизуются.

Задача в общем состоит в том, что есть большой список выпарсенных вопросов со stackoverflow по разным языкам программирования, и необходимо классифицировать этот список по ним, распределив по папкам с соответствующими названиями.

При попытке самого обучения (последняя строка) получаю ошибку следующего содержания:

Traceback (most recent call last):
  File "C:\Program Files (x86)\JetBrains\PyCharm Community Edition 2016.3.2\helpers\pydev\pydevd.py", line 1596, in <module>
    globals = debugger.run(setup['file'], None, None, is_module)
  File "C:\Program Files (x86)\JetBrains\PyCharm Community Edition 2016.3.2\helpers\pydev\pydevd.py", line 974, in run
    pydev_imports.execfile(file, globals, locals)  # execute the script
  File "C:\Program Files (x86)\JetBrains\PyCharm Community Edition 2016.3.2\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
    exec(compile(contents+"\n", file, 'exec'), glob, loc)
  File "C:/Users/Андрей/PycharmProjects/test/test.py", line 91, in <module>
    classifier.fit(counts, targets)
  File "D:\Program Files\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\site-packages\sklearn\naive_bayes.py", line 562, in fit
    X, y = check_X_y(X, y, 'csr')
  File "D:\Program Files\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\site-packages\sklearn\utils\validation.py", line 526, in check_X_y
    y = column_or_1d(y, warn=True)
  File "D:\Program Files\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\site-packages\sklearn\utils\validation.py", line 562, in column_or_1d
    raise ValueError("bad input shape {0}".format(shape))
ValueError: bad input shape ()

У меня есть такие вопросы:

  1. Как правильно пользоваться fit в данном контексте?
  2. fit должен получать на вход обучающие выборки всех типов сразу (и cpp, и python) или что-то одно?
4
  • У вас задача академическая или практическая? Если практическая, то в StackOverflow есть теги по которым можно определить язык без классификации... 5 фев 2017 в 19:15
  • @maxu акадеическая, а точнее дипломная. "Классификация сообщений, поступающих в службу поддержки". В качестве базы с такими сообщениями взял StackOverflow 5 фев 2017 в 19:45
  • а "служба поддержки" чего? Мне кажется исходные тексты это отдельная тема... Их токенизировать по-другому надо. По поводу данного вопроса - у вас тут все перепутано (по-моему)... Как у вас выглядит список counts? 5 фев 2017 в 20:34
  • @maxu по поводу службы поддержки конкретики нет. Да, я пока только разбираюсь с этим, у меня задача написать прототип...Так что я почти уверен что что-то понял не так. В точке останова counts выглядит так: clip2net.com/clip/m198835/38062-clip-824kb.jpg 6 фев 2017 в 18:11

1 ответ 1

1
  1. Более Python-way читать файлы следующий (обратите внимание на кодировку):

    text = '' 
    with open('my_text_file.txt', 'rb') as input: 
        text = input.read().decode('utf-8') 
    
  2. Не ясно что у вас в файлах. Предположу что на каждой строчке отдельный вопрос. Для задач машинного обучения принято создавать 2 матрицы. Точнее матрицу X (признаки) и вектор y (целевой класс - кодируется числом). На этапе загрузки у вас должно получиться что-то вроде: X = [ 'text 1', 'text 2', ... ]

y = [1, 0, 2, 9, ...]

  1. После того как вы такие массивы подготовите можете их трансформировать. Текст != признаки (фичи). Фичи должны быть числовыми.

Для этого и нужен CountVectorizer. Он берет Ваш X и преобразует в нечто вроде [ [0, 0, 3], [0, 1, 2], [3, 3, 0], ... ]

Строки соответствуют вашим текстам, а в столбцах посчитаны вхождения отдельных слов/n-грамм (зависит от параметров CountVectorizer)

  1. Вероятнее всего глупый количественный анализ вам ничего хорошего не даст и придется дополнительно трансформировать эту матрицу через TFIDF

  2. Теперь непосредственно к ошибке. Там на вас ругаются за неправильную форму (размерность) переданных данных. Поэтому делайте отладочную печать (или в отладчике смотрите) похожи ли передаваемые данные на то что я расписал в пункте 3. Количество срок в X должно быть равно длине y

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.