Добрый день! У меня есть файл в формате txt на ~3,5 млн. строк. Большинство строк примерно такого вида:
Иванов Иван Иванович 12.02.1942 675195, Москва, ул. Ивановых, дом 15, 4512 125345 выдан Орденом Ивановых 11.11.2011.
Соответственно, я пытаюсь записать строки в DataFrame и разбить на столбцы по регулярному выражению таким кодом:
#Входной и выходной файлы
file = 'file.txt'
out = 'file1.txt'
#Чтение файла и запись в список
data = []
with open(file) as read_file:
for line in read_file:
data.append(line.strip())
read_file.close()
#Создание фрейма
df = pd.DataFrame({'Name' : data})
#Регулярка, проверенная на regex101.com
rx = '(?P<Name>.*?)\s+(?P<Date>\d{2}\.\d{2}\.\d{4})\s+(?P<Adress>.*)\s+(?P<Passport>\d{4}\s+.*)'
#Запись во фрейм
df = df.Name.str.extract(rx, expand=True)
В результате этого кода Python уходит в задумчивость из которой больше не возвращается.
Функуция timeit дает тот же эффект - задумчивость.
Подскажите, пожалуйста, как быть?
UPDATE: Решил разбить строки по сериям, которые складываются во фрейм таким образом и все получилось как надо:
#Регулярные выржаения для разделителей
rxName = '(?P<Name>[а-яАЁ-ёя\s]*)'
rxDate = '(?P<Date>\d{2}.\d{2}.\d{4})'
rxAdress = '(?P<Adress>\d*,\s\D*\s\d*)'
rxPassport = '(?P<Passport>\d{4}\s\D\d{6}\s.*\s\\d{2}.\d{2}.\d{4})$'
#Процедура разделения по столбцам
df['Name'] = df.Name.str.extract(rxName, expand=False)
df['Date'] = df.Name.str.extract(rxDate, expand=False)
df['Adress'] = df.Name.str.extract(rxAdress, expand=False)
df['Passport'] = df.Name.str.extract(rxPassport, expand=False)
Похоже что в задумчивость Python вводили некоторые строки, которые сильно не соответствовали шаблону и поэтому он не понимал в какую группу их отнести.
Решение конечно не идеальное, наверняка есть и получше, но работает.