0

Есть строка

data = 'Myvar5:=arr[-10];'

Как из неё получить ['Myvar5', ':', '=', 'arr', '[', '-', '10', ']', ';'] ?

3
  • Похожее ru.stackoverflow.com/questions/645106/…
    – entithat
    8 июл 2018 в 10:35
  • А зачем Вам : и = разделять? Разве это не один оператор? А -10?
    – vp_arth
    8 июл 2018 в 10:58
  • 3
    Реализовал так tokens = [i.strip() for i in re.findall(r"[\w]+|[*\-+()[\]:;=]", data)]
    – vazhnoah
    8 июл 2018 в 11:16

2 ответа 2

2

Можно злоупотребить токенизатором для Питона:

import io
import tokenize as T
from operator import itemgetter

def tokenize_string(data):
    tokens = T.tokenize(io.BytesIO(data.strip().encode()).readline)
    next(tokens)  # skip encoding token
    return list(filter(None, map(itemgetter(1), tokens)))  # filter ENDMARKER

Пример:

>>> tokenize_string('Myvar5:=arr[-10];')
['Myvar5', ':', '=', 'arr', '[', '-', '10', ']', ';']
0

У вас, похоже, стоит задача разбить не на совсем отдельные символы, а на отдельные элементы. Очень похоже, что символы у вас делятся на две группы: 1.Буквы латинского алфавита + цифры 2. Остальные символы Тогда это становится задачей парсинга. Условно: Для i-ого символа, если это буква латинского алфавита, то мы записываем его в существующий элемент буфера, иначе создаем новый элемент

import string
digits = '0123456789'
data = 'Myvar5:=arr[-10];'
buf = ['']
last = 'c'
for el in data:
    if ((el in string.ascii_letters) or (el in digits)) and (last == 'c'):
        buf[-1] += el
    else:
        buf.append(el)
        last = 'n'
        if ((el in string.ascii_letters) or (el in digits)):
            last = 'c'
data = buf

Код получился с костылем, но суть примерно такая

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.