Anaconda 3, Python 3.6, Виртуальная среда.
import numpy as np
import pandas as pd
import shorttext
import csv
import Stemmer
import spacy
from nltk.stem.snowball import RussianStemmer
stemmer = RussianStemmer()
import re
from nltk.corpus import stopwords
stopWords = stopwords.words('russian')
pipeline = [lambda s: re.sub('[^\w\s]', '', str(s)),
lambda s: re.sub('[\d]', '', s),
lambda s: s.lower(),
lambda s: ' '.join(map(stemmer.stem,
shorttext.utils.tokenize(s)))
]
txtpreproceesor = shorttext.utils.text_preprocessor(pipeline)
csv.field_size_limit(100000000)
df =
pd.read_csv(r'C:\Users\Mazaeva...Результат.csv',sep =
';',encoding="UTF-8", engine='python')
df.columns = ['Num', 'Link','Text','State','All']
docids = list(df['Link'])
corpus = [txtpreproceesor(Text).split(' ') for Text in df['Text'] if Text
not in stopWords]
dtm = shorttext.utils.DocumentTermMatrix(corpus, docids=docids, tfidf=False)
dtm.get_doc_tokens('http://17cpis.ru')
В итоге имеем неожиданно в итоговом списке слова : "а", "и", "о" и т.д. Никаких ошибок не выдается, но список stopWords явно не применяется. Не могу понять что не так.
if Text not in stopWords
проверяет наличие всей строки вstopWords
, но не отдельных слов.df['Text']
содержащийstopwords
? Ещё попробуйте заменитьtxtpreproceesor(Text).split(' ')
-->txtpreproceesor(Text).split()