Вопросы с меткой [nlp]
Используйте эту метку, если вопрос связан с обработкой текста на естественном языке.
61
вопрос
1
голос
1ответ
28 показов
Работа с признаками в текстовой классификации
У меня есть дата-сет, в котором присутствуют 4 признака, дата, текст, категориальные (штаты), численный (компания). Я использую лемматизацию, далее удаляю стоп слова и создаю разреженную матрицу (для ...
0
голосов
0ответов
14 показов
Как сохранить свою модель машинного обучения в hugging face
Когда я пытаюсь сохранить мою модель машинного обучения вылетает ошибка, у меня авторизован профиль на hugging face. Как мне написать запрос на сохранение модели или исправить это?
!transformers-cli ...
3
голоса
2ответа
34 показа
Обучение модели без учителя на нескольких текстовых признаках
Предположим, что есть 3 признака, которые содержат текст. Текст является произвольным(не категориальным). Скажем эти признаки могут являться комментариями, содержанием и т.п. Но возникает проблема ...
-1
голос
1ответ
28 показов
Подскажите реализацию алгоритма
Вообщем стоит такая задача. Из строки выбрать конкретное слово или предсказать его порядковый номер и все это на машинном обучении. Например чтобы выбрать название символа из строки "цена акций ...
0
голосов
0ответов
20 показов
Как предсказать последовательность букв с помощью tensorflow?
Задача: предсказать следующую букву в твите, имея заданную начальную последовательность
X = pad_sequences(data, maxlen=149, padding='post', truncating='post')
Y = np.array([np.append(i[1:], 0) for i ...
0
голосов
0ответов
26 показов
Как сравнить примерную похожесть русских текстов используя обработку естественного языка?
Как сравнить примерную (частичную) похожесть двух русских текстов, учитывая синонимы и разные формы выражения текстов?
Какие еще есть варианты кроме NLP?
Например, выражение "Метод equals ...
-1
голос
1ответ
77 показов
Программа не верно считает количество слов в тексте [закрыт]
Заметил две проблемы:
В выводе у меня появилось слово wa, хотя в тесте его нет.
Количество слов подсчитывается не верно.
File(В котором я вел подсчёт слов): https://dropmefiles.com/qAfrA
Code(В ...
0
голосов
0ответов
25 показов
Dataframe из всех возможных сочетаний синонимов в строках
Есть небольшой датафрейм из предложений. Есть небольшой словарь, где некоторым (в примере, всем) словам из предложений поставлены в соответствие по несколько синонимов. Нужно составить датафрейм из ...
0
голосов
0ответов
49 показов
Корректный ответ на вопрос Python NLP
Сделал Вопросно-Ответную систему с помощью DeepPavlov тык
Далее ввожу текст с технической темой, модель отвечает адекватно на вопрос по этому тексту, однако если я введу вопрос не связанный с этим ...
0
голосов
0ответов
36 показов
Использование NLP для разрешения омографов
Есть размеченный корпус из 700 записей вида
амбарный замо`к
без труда открыл замо`к двери
бесшумно открыл замо`к
блестящий никелированный замо`к
ближайший за`мок обнаружился
из которых 80% ...
2
голоса
1ответ
77 показов
Посоветуйте Лемматизатор, хорошо разбирающий фамилии (Python)
Пытаюсь разобрать этот список на леммы:
['Динамика', 'возобновления', 'роста', 'случаев', 'коронавируса', 'COVID-19', 'в',
'мире', 'является', 'поводом', 'для', 'серьезной', 'обеспокоенности', '–', '...
0
голосов
0ответов
24 показа
Создание корпуса из двух
Допустим у меня есть два корпуса текстов (один скорее даже не корпус, а набор коротких фраз) на две разные темы и я хочу как бы скрестить эти два корпуса и получить корпус, где эти темы в каждом ...
0
голосов
0ответов
14 показов
Как сгенерировать текст емейла, так чтобы увеличить количество ответов на сообщение?
Это более общий вопрос. По этому, в ответах буду благодарен за рекомендации.
Имеется:
Датасет, в котором есть емейлы, отправленные пользователю с информацией о том, был ли ответ на емейл или нет.
...
2
голоса
2ответа
112 показов
Как сравнить два списка по совпадениям слов в первом с предложениями во втором?
Есть интересная задача, думаю как к ней поступиться. Есть 2-а списка: а содержит списко слов, b - 5 предложений.
Нужно подумать как лучше, циклом или может другим способом. Сравнить из a списка слова ...
0
голосов
1ответ
88 показов
Есть ли библиотека по выполнению синтаксического анализа для русского языка в Python?
Есть ли библиотека по выполнению синтаксического анализа для русского языка в Python?
0
голосов
1ответ
47 показов
NLP Классификация документов
Есть набор документов - контракты, акты, служебки и т.д.
Необходимо в последующем проверять соответствие нового документа одному из классов (контракт? акт? и т.д.)
В каком направлении идти? Может быть ...
2
голоса
1ответ
171 показ
голосовой ассистент с NLP python
Я не ML engineering, я программист, но мне хочется сделать своего голосового ассистента. Если speech recognition сейчас не проблема, то nlp для меня остаётся загадкой. Например, голосовой ассистент ...
0
голосов
0ответов
16 показов
Как извлечь вопросы и ответы из документа?
У меня есть docx статей, опубликованных в маркетинговых журналах, которые содержат весы, и я хотел бы извлечь их.
.
Например, со следующей шкалой я хотел бы получить название: Инвентаризация десяти- и ...
2
голоса
1ответ
39 показов
Как собрать все возможные формы слова в список?
Хочу собрать все возможные формы слова в один список с помощью библиотеки pymorphy2. Атрибут lexeme выводит большое количество ненужной информации и я не знаю как вывести все формы слова, которые она ...
1
голос
1ответ
36 показов
Как поставить слово(Английское) в начальную форму с помощью NLTK?
Как поставить слово (aнглийское) в начальную форму с помощью nltk?
0
голосов
1ответ
68 показов
Какую java библиотеку использовать для выявления ключевых слов в тексте?
Всем привет, хотелось бы узнать, какие java библиотеки подходят для анализа русского текста ( а именно для выявления ключевых слов в тексте). Если это имеет значение, текст не длинный - до 500 слов.
1
голос
2ответа
40 показов
Как отнести текстовые строки к категориям в R?
Есть ответы людей на вопрос "Почему вы не покупете моющие средства марки Х?". Необходимо отнести каждый ответ к категории, но списка категорий нет (возможно, его потребуется создать). Для решения этой ...
1
голос
0ответов
29 показов
Извлечение именованных сущностей : сеть или словари?
Дано: большой набор excel-файлов(тысячи, десятки тысяч).
Задача: извлечь из файлов названия различных географических объектов, организаций, а также специальных терминов предметной области.
Если ...
0
голосов
1ответ
27 показов
Можно ли в python, имея базу Word2vec перед операциями с ней, проверить есть ли в ней определённое слово?
Можно ли в python, имея базу Word2vec перед операциями с ней, проверить есть ли в ней определённое слово?
0
голосов
1ответ
190 показов
Склонение слов в pymorphy2 не работает с переменной
slovo.inflect({padezh})
Выводит:
ValueError: Unknown grammeme: None
2
голоса
2ответа
734 показа
Название месяца по номеру или номера по названию месяца
Мне нужно реализовать получение значения месяца в разных видах: номер, название в разных падежах, и с приставками (В январе).
Как это можно сделать?
Нужно что то в виде таблицы:
num, soon, gen
...
0
голосов
1ответ
74 показа
ValueError: [E088] Text of length 1027203 exceeds maximum of 1000000. spacy
Пытаюсь составить корпус слов по тексту. Проблема в том , что текст очень большой и я получаю исключение:
ValueError: [E088] Text of length 1027203 exceeds maximum of 1000000. The v2.x parser and NER ...
2
голоса
1ответ
70 показов
Объединение имён/сущностей в тексте
Я пытаюсь обработать текст так, чтобы при разбивке на токены имена не разделялись. Для этого я хочу добавить между словами подчёркивания - например, из оригинального текста:
"Рональд Рейган - 40-й ...
1
голос
1ответ
62 показа
TF-ICF (либо TF-IDF) без использования разреженных матриц
Прочитал недавно статью про TF-ICF. Если коротко, то общий смысл в том, что в отличии от TF-IDF мы берем слово в корпусе, а не в документе. Этот способ неплох для кластеризации текстов к тому же если ...
3
голоса
1ответ
84 показа
Проверка на наличие слов в повелительном наклонении
И так, у меня есть переменная poisk, к которой мы будем обращаться.
Допустим пользователь ввел в нее такую строку: "Позвони контакту Х".
И если эта строчка содержит слово в повелительном наклонении (...
1
голос
3ответа
347 показов
Получить список слов в тексте и частоту их повторения, и занести результат в DataFrame
Есть текстовый файл со следующим текстом: "Пример пример для питона для теста". Не учитывать регистр, т.е. Пример = пример
Нужно получить список (слово, частота) типа:
пример 2
для 2
питона 1
теста 1
...
1
голос
1ответ
65 показов
Помогите понять, где ошибка у меня в создании мешка слов
Создаю вручную мешок слов.
Вот функция для его создания:
def my_bag_of_words(text, words_to_index, dict_size):
"""
text: a string
dict_size: size of the dictionary
...
3
голоса
1ответ
83 показа
Отбросить приставку слова
Мне нужно получить инфинитив слова и отбросить его приставку с помощью pymorphy2.
Я пытался найти нужную информацию в документации, но не нашёл (есть KnownPrefixAnalyzer, но ничего не написано про то, ...
2
голоса
1ответ
291 показ
NLTK stoplist удаляет не все слова
Возникла проблема при тематическом моделирование. Из исходного текста требуется удалить лишние слова. Для этих целей использую nltk и его корпус brown следующим образом:
from nltk.corpus import brown
...
1
голос
1ответ
800 показов
Как правильно подать строки для лемматизации?
Провел токеннизацию большого текста, теперь пытаюсь подать эти строки на проведение лемматизации. Лемматизацию провожу с помощью pymorphy2, библиотека принимает только слово. Не могу понять как подать ...
1
голос
1ответ
155 показов
Определение частей речи и удаление ненужных
Мои данные - 1641 постов. В цикле все функции работают, кроме как раз таки исключения ненужных частей речи (functors_pos), которую я пыталась реализовать с помощью MorphAnalyzer. Не могу понять, где ...
1
голос
1ответ
115 показов
MemoryError для fastText в бибилиотеке gensim
Загружаю предобученный fasstext вот так:
from gensim.models.fasttext import FastText
model = FastText()
model.file_name = 'data/fasttext/cc.en.300.bin'
model.load()
Получаю MemoryError. Как ...
2
голоса
1ответ
1k показов
Как сделать tf-idf для русских текстов
Вопрос по поводу функции sklearn.feature_extraction.text.TfidfVectorizer.
Я нашел, что можно передать параметром стоп-слова. Например так:
from nltk.corpus import stopwords as nltk_stopwords
...
2
голоса
2ответа
3k показов
Контекстная лемматизация Python
Есть ли что-то для контекстной лемматизации целого предложения на русском языке, а не просто лемматизации списка слов? На английском это позволяют pyswd и spacy, но на русском они не работают.
>&...
0
голосов
0ответов
21 показ
gensim исходники. Не могу найти модуль
Разбираюсь в gensim. Заклонил его и хотел запустить то, что есть в gensim/gensim/example/dmlcz/gensim_xml.py, например. Но там есть модули, которые я нигде не могу найти gensim_build, dmlcorpus from ...
2
голоса
2ответа
341 показ
Подсчет уникальных слов с группировкой по дате
Есть таблица (Дата, Сообщение). Для каждого значения 'Дата'(для каждого дня) необходимо подсчитать количество уникальных слов в сообщениях. Как это реализовать в Python?
Пример данных:
import pandas ...
4
голоса
1ответ
66 показов
Ошибка: module 'spacy.lang.en' has no attribute '__all__'
Делаю в Anaconda prompt с правами администратора.:
conda install -c conda-forge spacy
\Anaconda3\python.exe -m spacy download en
Anaconda3\python.exe -m spacy download xx
Открываю Jupyter и делаю:
...
2
голоса
0ответов
27 показов
Какой выбрать ресурс для распознавания намерения для чат бота?
Имеется необходимость написать чат бота, используя node.js. На этапе обсуждения встал вопрос - чем пользоваться для распознавания намерения, тем более русского?
Входные данные следующие: чат бот ...
2
голоса
1ответ
37 показов
вычисление семантическое сходство между парами (сущ, сущ)
Есть ли алгоритм, который говорит о семантическом сходстве двух фраз?
0
голосов
1ответ
172 показа
Извлечение ключевых слов из вопросов
есть задача - извлекать ключевые слова из вопросительных предложений. Например: В какой категории товаров можно найти пипидастр?
Из этого предложения я хочу получить слова: категория товаров, ...
-1
голос
2ответа
65 показов
Не работает анализ тональности английского текста с Vader в Python 2
MyText = Reviews["reviewText"]
myVader = SentimentIntensityAnalyzer()
for EachReview in MyText:
print EachReview,
sentiment = myVader.polarity_scores(EachReview)
print "\n\t" +...
3
голоса
1ответ
797 показов
Визуализация частотных характеристик слов в текстах
Работая над классификацией естественных текстов возник вопрос как визуально отобразить частотные характеристики текста с нормализацией текста и без.
Первое, что приходит на ум столбчатая диаграмма, ...
5
голосов
1ответ
509 показов
Сравнение производительности классификаторов для эмоциональной (тональной) оценки комментариев/твитов
Отвечая на данный вопрос, захотелось сравнить эффективность разных классификаторов для эмоциональной(тональной) оценки комментариев/твитов.
Не уверен, что этот вопрос полностью соответствует правилам ...
2
голоса
1ответ
487 показов
Классификация русских текстов, определение тональности.Не совсем понятно назначение параметров классификатора
Вот код из ответа на заданный ранее вопрос:
# https://ru.stackoverflow.com/questions/790609
# Corpus download: http://study.mokoron.com/
# positive: https://www.dropbox.com/s/fnpq3z4bcnoktiv/...
2
голоса
1ответ
2k показов
Корпус русских стоп слов [закрыт]
Где можно найти корпус русских стоп слов, который будет содержать: союзы, местоимения, частицы, предлоги и т.д. во всех формах, падежах, единственных и множественных числах?