У меня есть список с индексами и предложениями, разбитыми по словам. Пример элемента списка: ['2617', ['two', 'green','blowflies', 'paris','texas']
И есть список с так же разбитыми по словам именованными сущностями и т.д., которые нужно удалить из первого списка, то есть в результате получить ['2617, ['two', 'green', 'blowflies']
- из примера выше нужно будет убрать ['paris', 'texas']
.
Вот мой код:
def delete(dirty_split, bad_words_split):
without_bad = []
for row, words in tqdm(itertools.zip_longest(dirty_split, bad_words_split)):
sentence = row[1]
result = [(lambda x: re.sub(r'|'.join(words), '', x))(x) for x in sentence]
result = [x for x in result if x] # удаление пустых токенов
without_bad.append([row[0], result])
return without_bad
Однако на каком-то этапе происходит выпадение с error: nothing to repeat at position 13
, подозреваю, что дело может быть в спец.символах, которые затесались в один из списков, можно их как-то взять в расчет тоже?