Задача состоит в том, чтобы в морфологическом словаре odict в формате csv найти начальную форму для каждого слова в предложении. Эта начальная форма является первым элементом каждой строки списка, после которой идут словоформы.
Вот мой код:
input_data = open("input.txt", "r", encoding="utf-8")
text = input_data.read()
cleartext = re.sub(r'[^\w\s]','', text)
cleartext_low = str(''.join(cleartext)).lower()
tokens = word_tokenize(cleartext_low)
data = csv.reader(open('odict.csv', 'r'))
reader = list(data)
res = []
i = 0
while i <= len(tokens):
for i in range(len(tokens)):
for row in reader:
if tokens[i] in row:
res.append(row[0])
i += 1
print(res)
В моем коде вылетает
IndexError: list index out of range на if tokens[i] in row:.
Что можно сделать с кодом, чтобы исправить ошибку?