1

Anaconda 3, Python 3.6, Виртуальная среда.

import numpy as np
import pandas as pd
import shorttext
import csv
import Stemmer
import spacy
from nltk.stem.snowball import RussianStemmer
stemmer = RussianStemmer()
import re
from nltk.corpus import stopwords
stopWords = stopwords.words('russian')

pipeline = [lambda s: re.sub('[^\w\s]', '', str(s)),
            lambda s: re.sub('[\d]', '', s),
            lambda s: s.lower(),
            lambda s: ' '.join(map(stemmer.stem, 
shorttext.utils.tokenize(s)))    
]

txtpreproceesor = shorttext.utils.text_preprocessor(pipeline)
csv.field_size_limit(100000000)
df = 
pd.read_csv(r'C:\Users\Mazaeva...Результат.csv',sep = 
';',encoding="UTF-8", engine='python')
df.columns = ['Num', 'Link','Text','State','All']
docids = list(df['Link'])   
corpus = [txtpreproceesor(Text).split(' ') for Text in df['Text'] if Text 
not in stopWords]

dtm = shorttext.utils.DocumentTermMatrix(corpus, docids=docids, tfidf=False)
dtm.get_doc_tokens('http://17cpis.ru')

В итоге имеем неожиданно в итоговом списке слова : "а", "и", "о" и т.д. Никаких ошибок не выдается, но список stopWords явно не применяется. Не могу понять что не так. Data Frame

stopWords

Result

4
  • 1
    Наверное дело в том, что if Text not in stopWords проверяет наличие всей строки в stopWords, но не отдельных слов.
    – Andrey
    11 мар 2019 в 11:32
  • можете привести небольшой пример (в виде текста, который можно скопировать) данных из столбца df['Text'] содержащий stopwords? Ещё попробуйте заменить txtpreproceesor(Text).split(' ') --> txtpreproceesor(Text).split() 11 мар 2019 в 11:33
  • Заменить попробовала, не помогает. Вы можете взять кусочек датасета тут (yadi.sk/d/MFYT-xy8r8JBww) 11 мар 2019 в 11:50
  • @Mar'yaMazaeva, я не хочу устанавливать дополнительные модули (shorttext), поэтому попросил часть уже обработанного текста... 11 мар 2019 в 12:47

1 ответ 1

1

Дело было в несвоевременной фильтрации. Перенос в пайплайн спас положение. lambda s: ' '.join(i for i in s.split() if i not in stopWords) Всем спасибо.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.