1

Anaconda 3, Python 3.6, Виртуальная среда.

import numpy as np
import pandas as pd
import shorttext
import csv
import Stemmer
import spacy
from nltk.stem.snowball import RussianStemmer
stemmer = RussianStemmer()
import re
from nltk.corpus import stopwords
stopWords = stopwords.words('russian')

pipeline = [lambda s: re.sub('[^\w\s]', '', str(s)),
            lambda s: re.sub('[\d]', '', s),
            lambda s: s.lower(),
            lambda s: ' '.join(map(stemmer.stem, 
shorttext.utils.tokenize(s)))    
]

txtpreproceesor = shorttext.utils.text_preprocessor(pipeline)
csv.field_size_limit(100000000)
df = 
pd.read_csv(r'C:\Users\Mazaeva...Результат.csv',sep = 
';',encoding="UTF-8", engine='python')
df.columns = ['Num', 'Link','Text','State','All']
docids = list(df['Link'])   
corpus = [txtpreproceesor(Text).split(' ') for Text in df['Text'] if Text 
not in stopWords]

dtm = shorttext.utils.DocumentTermMatrix(corpus, docids=docids, tfidf=False)
dtm.get_doc_tokens('http://17cpis.ru')

В итоге имеем неожиданно в итоговом списке слова : "а", "и", "о" и т.д. Никаких ошибок не выдается, но список stopWords явно не применяется. Не могу понять что не так. Data Frame

stopWords

Result

4
  • 1
    Наверное дело в том, что if Text not in stopWords проверяет наличие всей строки в stopWords, но не отдельных слов.
    – Andrey
    Commented 11 мар. 2019 в 11:32
  • можете привести небольшой пример (в виде текста, который можно скопировать) данных из столбца df['Text'] содержащий stopwords? Ещё попробуйте заменить txtpreproceesor(Text).split(' ') --> txtpreproceesor(Text).split() Commented 11 мар. 2019 в 11:33
  • Заменить попробовала, не помогает. Вы можете взять кусочек датасета тут (yadi.sk/d/MFYT-xy8r8JBww) Commented 11 мар. 2019 в 11:50
  • @Mar'yaMazaeva, я не хочу устанавливать дополнительные модули (shorttext), поэтому попросил часть уже обработанного текста... Commented 11 мар. 2019 в 12:47

1 ответ 1

1

Дело было в несвоевременной фильтрации. Перенос в пайплайн спас положение. lambda s: ' '.join(i for i in s.split() if i not in stopWords) Всем спасибо.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.